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内 容 提 要 
Kinect 是 微软 公司 推出 的 最 新 的 基于 体感 交互 的 人 机 交互 设备 。 本 书 分 为 3 个 部 分 ， 首 先 介 绍 了 
Kinect 的 结构 和 功能 以 及 如 何 配置 相关 的 开发 环境 ， 接 着 结合 实例 介绍 如 何 使 用 Kinect for Windows SDK 提 
供 的 API， 最 后 通过 4 个 实例 详细 讲述 了 使 用 Kinect for Windows SDK 开发 项 目的 实现 过 程 。 
本 书 旨 在 为 Kinect for Windows 开发 人 员 提 供 快速 入 门 的 知识 ， 但 是 要 求 读者 有 一 定 的 编程 基础 。 由 于 
本 书 的 实例 代码 全 部 由 C# 编写 ， 读 者 最 好 对 C# 有 一 定 的 了 解 。 
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微软 从 未 仿 止 过 创新 的 步伐 ，Kinect 的 问世 无 疑义 为 自然 用 户 界面 领域 打开 了 一 厂 新 的 天 
地 。Kinect 集 强大 的 机 硕 学 习 技 术 、 刁 份 识别 能 力 以 及 语音 识别 功能 于 一 身 ， 伞 然 成 为 了 即将 改 
变 世 界 的 又 一 大 利 需 。 

Kinect 最 先 与 Xbox 360 结 合 ， 把 Xbox 360 变 成 了 一 台 体 感 游戏 机 ， 抛 开 游 戏 手柄 ， 你 的 号 体 
就 是 遥控 硕 。Xbox 360 与 Kinect 套 疹 开 售 仅 3 个 月 , 便 售 出 上 千 万 台 , 创造 了 新 的 电子 产品 吉 尼 斯 
销售 记录 。 

Kinect for Windows SDK 的 发 布 更 是 在 科 人 研 工 作者 和 开发 者 社区 中 掀起 了 一 波 创 新 热潮 ， 越 
来 越 多 的 技术 爱好 者 投 呈 于 探索 Kinect 玫 来 的 无 限 可 能 中 。 短 短 一 年 多 的 时 间 , 我 们 便 看 到 Kinect 
已 经 在 各 个 领域 大 展 吴 手 。 在 娱乐 游戏 方面 ， 有 隔 空 切 西 瓜 的 Kinect 版 水 有 果 妨 者; 在 传统 文化 方 
面 ， 有 随 动 皮影 戏 、 川 剧变 脸 和 虚拟 放风 竺 ;在 机 械 控制 领域 ， 有 徒手 控制 直升机 、 机 絮 人 随 动 
和 自主 避 障 车 等 ; 在 医疗 领域 , 手术 中 医生 只 用 手势 即 可 控制 医疗 影像 的 播放 和 缩放 ,实现 了 便 
捷 量 无 商 的 操作 ; 在 辅助 工具 方面 ， 有 PPT 播 放 和 虚拟 演示 系统 等 ，Kinect 的 体感 交互 提供 了 一 
种 全 新 的 演讲 和 展示 方式 ,由 此 可 见 , Kinect 把 多 少 不 可 能 变 成 了 现实 ,然而 这 只 是 一 部 分 , Kinect 
缠 藏 的 无 限 潜力 远 不 止 这 些 ， 等 等 着 读者 们 去 发 据 和 创造 。 

Kinect for Windows 人 硬件 设备 在 2012 年 10 月 初 登陆 中 国 市 场 ， 这 本 Kinect 开 发 和 人 门 教 程 可 以 说 
是 应 时 而 生 ， 非 常 值得 Kinect 初 学 者 参考 。 

微软 亚洲 研究 院 多 个 人 研究 小 组 的 人 研究 成 果 已 经 转化 到 Kinect 的 核心 技术 中 。 本 书 的 一 位 作者 
吴 国 斌 博士 在 微软 亚洲 研究 院 负 届 Kinect for Windows 在 中 国 的 学 术 合 作 计 划 ， 见 证 了 Kinect for 
Windows 在 中 国 高 校 和 科研 机 构 的 创新 发 展 历程 。 另 外 两 位 作者 作为 第 一 批 使 用 Kinect for 
Windows 进 行 项 目 开发 的 技术 爱好 者 ,一直 跟踪 着 Kinect for Windows SDK 最 新 技术 动 回 。 我 很 高 
兴 看 到 他 们 能 够 将 目 己 积累 的 经 验 写成 书 ， 与 更 多 的 科 人 研 工 作者 和 技术 爱好 者 分 于。 

最 后 ， 期 竺 在 层出不穷 的 Kinect 创 新 应 用 中 看 到 你 的 作品 ! 


郭 百 守 ， 微 软 亚洲 研究 院 常 务 副 院 长 
2012 年 10 月 
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Kinect 是 微软 公司 推出 的 最 新 的 基于 体感 交互 的 人 机 交互 设备 。Kinect 最 初 作为 Xbox 360 的 
外 接 设 备 发 布 ， 利 用 即时 动态 骨骼 奶 踩 、 影 像 识 别 、 麦 克 风 和 输入、 语音 识别 等 功能 让 玩家 摆脱 传 
统 洲 戏 手柄 的 束缚 ,通过 上 自己 的 及 体 动 作 来 控制 游戏 。 到 2011 年 3 月 ,Kinect 已 经 售 出 了 1000 多 万 
台 ， 创 造 了 新 的 销售 记录 ， 同 时 也 表明 了 Kinect 全 新 的 体感 交互 体验 征服 了 众多 玩家 的 心 。 微 软 
公司 并 没有 将 这 一 和 多 进 技术 局 限 在 游戏 行业 ， 而 是 紧 接 着 将 Kinect 技 术 推 广 到 Windows 平 台 ， 开 
放 了 本 书 要 介绍 的 Kinect for Windows SDK, 旨 在 避 励 众多 开发 者 设计 基于 Kinect 体 感 交 互 技术 的 
应 用 ， 从 而 在 各 个 行业 领域 里 改变 人 们 工作 、 生 活 和 娱乐 的 方式 。 


本 书 结构 


本 书 分 为 3 个 部 分 ， 具体 如 下 所 示 。 
口 Kinect 基 础 篇 。 介 绍 Kinect 的 结构 和 功能 以 及 如 何 配置 开发 环境 ， 主 要 包含 2? 昔 内 容 。 

四 第 1 章 简 要 介绍 Kinect 的 概念 、 历 史 、 绪 构 组 成 及 其 应 用 领域 。 

上 第 2 章 将 一 步 一 步 市 领 谈 者 进行 Kinect for Windows 开 发 环境 的 配置 。 
口 Kinect 开 发 篇 。 结 合 实例 介绍 如 何 使 用 Kinect for Windows SDK 提 供 的 API， 主 要 包含 6 章 

内 容 。 

四 第 3 佛 介 绍 Kinect 获 取 的 彩色 图 像 数 据 和 红外 图 像 数 据 , 并 结合 实例 介绍 如 何 调 用 Kinect 
for Windows SDK 提 供 的 API 获 取 这 两 种 图 像 数 据 。 
第 4 章 介 绍 Kinect 获 取 的 深度 图 像 数 据 ， 并 结合 实例 介绍 如 何 处 理 深度 图 像 数 据 。 
第 5 草 介 绍 骨 骼 追踪 数据 ， 包 括 其 结构 、 半 号 模式 以 及 新 加 的 骨骼 点 旋转 信息 ， 通过 实例 
3 讲解 骨骼 数据 API 的 调用 方法 ， 通 过 实例 4 介绍 如 何 利 用 上 骨骼 追踪 数据 实现 相应 的 功能 。 
第 6 章 介 绍 Kinect for Windows SDK 中 音频 API 的 使 用 方法 ， 实 例 5 和 实例 6 分 别 讲解 了 如 
何 记 录 Kinect 捕 获 到 的 音频 流 以 及 如 何 进 行 语 首 识别 。 
第 7 草 介 绍 Kinect for Windows Developer Toolkit， 包 括 如 何 对 其 进行 安装 ， 如 何 利 用 其 
中 的 Kinect Studio 进 行 便捷 开发 ， 以 及 Face Tracking SDK， 并 通过 实例 7 详细 讲解 如 何 
使 用 Face Tracking SDK 识 别人 脸 。 

@ 第 8 草 讲 述 了 Kinect 党 用 的 两 个 类 库 : Coding4Fun Kinect Toolkit 和 Kinect Toolbox。 
口 Kinect 实 战 篇 .通过 4 个 实例 详细 讲述 了 使 用 Kinect for Windows SDK 开 发 项 目的 实现 过 程 ， 


2 前 人 言 


包括 4 草 内 容 。 
@ 第 9 前 讲解 了 Kinect 虚 拟 演示 系统 的 实现 过 程 , 该 项 目 结合 Kinect 提 供 了 一 种 新 颖 的 演讲 


@ 第 10 音 讲解 了 Kinect 虚 拟 风 等 项 目 , 将 微软 最 新 的 Kinect 姿 势 识别 技术 与 风筝 文化 结合 ， 
提供 一 种 新 的 虚拟 放风 筝 体验 。 
@ 第 11 草 介绍 了 虚拟 博物 馆 的 实现 。 该 项 目 利 用 Kinect SDK 提供 的 骨骼 点 追踪 功能 ， 结 
合 普通 的 显示 屏 或 者 投影 仪 实 现 了 全 县 显示 的 效 采 。 
@ 第 12 草 讲述 了 基于 Kinect 的 目 主 移动 机 融 人 项 目 。 本 项 目 将 Kinect 作 为 机 需 人 的 视觉 传 
感 戎 ， 指 导 机 需 人 移动 。 
本 书 内 容 丰 定 ， 通 过 对 基础 岛 和 开发 篇 的 和 学习， 读者 可 以 了 解 Kinect 技 术 的 相关 知识 ， 并 党 
握 Kinect 相 关 API 的 使 用 方法 。 其 中 开发 篇 附 禹 了 大 量 的 示例 程序 ， 希望 读 者 能 够 亲自 试验 。 实 
战 篇 讲解 了 多 个 Kinect 相 关 项 目 ， 和 希望 能 够 对 读者 在 开发 过 程 中 提供 一 定 的 参考 。 


读者 对 象 


本 书 旨 在 为 Kinect for Windows 开 发 人 员 提 供 快 速 入 门 的 知识 ,但 是 要 求 读者 有 一 定 的 编程 基 
础 。 由 于 本 书 的 实例 代码 全 部 由 C# 编 写 ， 读 者 最 好 对 C# 有 一 定 的 了 解 。 
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Kinect 基础 篇 


2011 年 3 月 9 日 ,微软 宣布 Kinect 自 发 售 以 来 已 经 售 出 了 1000 多 万 部 ,销售 额 超过 15 亿 美元 。 
与 此 同时 ， 他 们 还 售 出 了 1000 多 万 套 专 为 Kinect 设计 的 游戏 。 根 据 吉 尼斯 世界 记录 ，Kinect 成 
为 了 历史 上 销售 速度 最 快 的 消费 类 电子 产品 ， 打 破 了 此 前 由 iPhone 和 让 ad 所 保持 的 记录 。 微 软 
Kinect 以 “你 就 是 主角 ”( You are the controller ) 为 口号 ， 正 在 引领 者 一 场 人 机 交互 的 变革 。 

进行 Kinect for Windows 开发 ， 首 先 要 配置 开发 环境 。 本 书 将 在 第 2 章 详细 介绍 Kinect 开 
发 对 软 硬 件 的 要 求 ， 并 带领 读者 一 步 一 步 进行 环境 的 配置 。 这 部 分 最 后 还 会 结合 目 然 用 户 界 面 
(NUI )， 人 简要 介绍 Kinect for Windows SDK 的 整体 框架 。 


Kinect 简 但 


Kinect 被 誉 为 第 三 代 人 机 交互 的 划时代 之 作 。 本 章 将 介绍 Kinect 的 基本 概念 及 其 发 展 历 程 ， 
并 简要 训 析 其 结构 功能 以 及 体感 交互 技术 的 原理 。 另 外 , 本 章 最 后 还 会 对 Kinect for Windows 的 应 
用 领域 进行 概 唤 和 展望 。 


1.1 什么 是 Kinect 


Kinect 是 Xbox 360 外 接 的 3D 体 感 摄影 机 ， 如 图 1-1 所 示 。 它 利用 即时 动态 捕捉 、 影 像 识别 、 
麦克 风 输 入 、 语 音 识 别 等 功能 , 使 玩家 摆脱 了 传统 游戏 手柄 的 束缚 , 使 用 自己 的 胶体 来 控制 游戏 。 
而 任天堂 Wii、 索 尼 Play Station Move 等 同类 产品 ， 则 需要 玩家 借助 一 个 或 者 多 个 设备 才能 完成 体 
感 互动 。 


图 1-1 Kinect for Xbox 360 


作为 Xbox 360 的 外 设 ，Kinect 不 需要 使 用 任何 道具 即 可 完成 整个 动作 的 识别 和 捕捉 ， 它 使 用 


了 由 微软 剑桥 人 研究 院 人 研发 的 基于 深度 图 像 的 人 体 上 骨骼 追踪 算法 ， 而 深度 图 像 则 是 由 PrimeSense 公 
司 提供 的 Range Camera 技 术 产 生 的 。 此 外 ，Kinect 使 用 一 个 4- 麦 克 阵 列 ， 可 以 识别 3D 立 体 语音 。 
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Kinect 的 主要 识别 算法 和 软件 部 分 部 是 由 微软 旗下 的 游戏 工作 室 提 供 的 。 国 内 外 一 些 所 谓 的 
可 见 光 或 者 红外 识别 公司 ， 大 多 是 从 该 工作 室 获 取 一 些 专 利 权 ， 其 产品 跟 微 软 的 Kinect 相 比 在 精 
度 上 还 有 一 定 的 差距 。 


1.2 Kinect 的 前 世 今 生 


2009 年 6 月 1 日 ，Kinect 在 E3 游 戏 展 上 首次 亮相 ,， 它 当时 的 代 喜 是 Project Natal。 这 遵循 了 做 软 
以 城市 名 作为 开发 代号 的 传统 ，Project Natal 是 由 来 日 巴西 的 微软 董事 Alex Kipman 以 巴西 城市 
Natal 命 名 的 。Natal 是 拉丁 语 ， 英 语 中 有 “初生 ”之 意 ， 由 此 可 见 ， 微软 公司 期 望 Kinect 能 够 给 
Xbox 360 带 来 新 生 。 在 E3 2009 游 戏 展 上 ,Kinect 的 骨骼 捕捉 技术 已 经 可 以 在 30Hz 的 条 件 下 同时 捕 
捉 4 个 人 的 48 个 骨骼 动作 。 

2010 年 3 月 25 日 , 微软 宣布 将 在 E3 2010 期 间 召 开 的 “初生 计划 全 球 首 秀 ” 发布 会 上 公布 Kincet 
的 发 售 日 期 。2010 年 6 月 13 日 晚 , 这 个 发 布 会 在 格 兰 中 心 体 育 馆 举行 ,会 上 微软 宣布 将 Project Natal 
正式 命名 为 Kinect， 这 融合 了 kinetic (运动 ) 和 connect ( 沟通 ) 之 意 。 同 时 微软 还 宣布 ，Kinect 
将 于 2010 年 11 月 4 日 在 北美 正式 发 售 。 

Kinect 在 发 布 仅仅 两 个 月 后 , 就 售 出 了 800 多 万 台 , 吉 尼 斯 世界 记录 称 其 为 有 史 以 来 销售 最 快 
的 电子 消费 产品 。 但 是 ，Kinect 并 未 束 此 止步 。2011 年 6 月 ，Kinect for Windows SDK beta 版 发 布 ， 
这 标志 着 Kinect 开 始 向 PC 应 用 领域 进 奈 。2011 年 11 月 4 日 ，Kinect 发 布 一 周年 的 日 子 , 世界 各 地 的 
人 研究 人 员 已 经 将 Kinect 应 用 到 了 医疗 健康 、 教 育 、 日 常生 活 等 各 个 领域 ， 以 探索 Kinect 技 术 的 无 
限 可 能 ， 这 就 是 所 谓 的 “Kinect 效 应 ”。 此 外 ，Kinect 动 作 捕 提 的 机 器 学 习 技 术 还 荣获 了 2011 年 
MacRobert Award 工程 创新 大 奖 。 

微软 在 Kinect for Xbox 360 设 备 的 基础 上 优化 了 硬件 组 件 ， 并 于 2012 年 2 月 发 布 了 Kinect for 
Windows 便 件 ， 其 固件 更 适合 PC 使 用 。 新 的 Kinect 人 硬件 缩短 了 USB 连 接线 的 长 度 ， 并 文 持 “ 近 上 距 
模式 ”(Near Mode )。 与 此 同时 ， 微 软 还 发 布 了 商业 授权 版 的 Kinect for Windows SDK 1.0， 这 意 
味 着 开发 者 可 以 使 用 Kinect for Windows 人 硬件, 在 Windows 平 台 上 开发 文 持 手 势 和 语音 识别 的 应 用 
程序 ， 并 回 实 际 用 户 销 售 这 些 程序 。 

对 于 商业 版 的 Kinect for Windows, 微软 采用 了 纯 人 硬件 的 商业 模式 , 加 开发 人 员 和 软件 商 免费 
提供 SDK 开 发 包 。 这 样 ， 所 有 的 使 用 者 都 可 以 将 精力 投入 到 研发 上 ， 而 不 必 担 心 文 付 任何 软件 的 
授权 费用 。 

2012 年 5 月 ， 微 软 发 布 了 Kinect for Windows SDK 1.5 版 本 ， 该 版 本 支持 人 脸 以 及 坐姿 半身 模 
式 的 骨 骨 追踪。 借助 这 些 新 功能 和 特性 ，Kinect 应 用 程序 的 开发 工作 变 得 更 加 容易 和 灵活 。2012 
年 10 月 ， 微 软 又 发 布 了 Kinect for Windows SDK 1.6 版 本 ， 主 要 拓展 了 Kinect for Windows 的 开发 平 
人 台 ， 文 持 在 虚拟 机 、Windows 8 系统 上 进行 开发 ， 文 持 使 用 最 新 的 Visual Studio 2012 开 发 工具 。 
此 外 , Kinect for Windows SDK 1.6 版 本 还 增加 了 获取 红外 图 像 等 功能 , 并 在 性 能 上 做 了 很 大 提升 。 
Kinect for Windows SDK 可 能 会 保持 每 年 一 到 两 次 的 更 新 ， 在 功能 和 性 能 上 也 会 越 来 越 强 大 。 
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1.3 Kinect 体感 交互 技术 原理 


初 看 Kinect, 你 或 许 只 看 到 了 3 个 小 摄像 头 , 那 么 Kinect 究 竟 是 怎样 实现 体感 交互 的 呢 ? Kinect 
for Windows SDK 又 有 哪些 基本 功能 呢 ? 本 和 将 揭 开 Kinect 在 便 件 、 软 件 方 面 的 神秘 面纱 。 


1.3.1 Kinect 的 结构 组 成 


图 1-2 给 出 了 Kinect 的 整体 结构 。Kinect 一 共有 3 个 摄像 头 ， 中 间 一 个 是 RGB 摄像 头 ， 用 来 获 
取 640x480 的 彩色 图 像 ， 每 秒 钟 最 多 获取 30 帧 图 像 ， 两 边 的 是 两 个 深度 传 感 副 ， 左 侧 的 是 红外 线 
发 射 顶 ， 右 侧 的 是 红外 线 接收 郁 ， 用 来 检测 玩家 的 相对 位 置 。Kinect 的 两 侧 是 一 组 四 元 老 元 风 阵 
列 ， 用 于 声 源 定位 和 请 音 识别 ; 下方 还 有 一 个 融 内 置 马达 的 底座 ， 可 以 调整 从 仰 角 。 


-------------------------- 红外 线 发 射 器 
su------------ RGB 摄像 头 
- 红外 线 接收 器 


麦克 风 阵 列 
图 1-2” Kinect 便 件 结构 


1.3.2 ”Kinect for Windows SDK 简介 及 功能 介绍 


2011 年 6 月 17 日 ， 微 软 研究 院 发 布 的 非 商业 授权 版 的 Kinect for Windows SDK Beta 吸 引 了 众多 
开发 者 的 目光 ， 不 过 该 版 本 只 人 允许 用 于 人 研究、 测试 和 实验 ， 不 可 以 发 布 商业 应 用 。2012 年 ， 微 
软 分 别 在 2 月 、5 月 和 10 月 接连 发 布 了 商业 授权 版 的 Kinect for Windows SDK 1.0 版 本 、1.5 版 本 和 
1.6 版 本 ， 此 举 在 明确 了 微软 鱼 利 模式 的 同时 ， 使 得 开发 者 可 以 进行 软件 开发 ， 并 销售 开发 的 应 
用 程序 。 

Kinect for Windows SDK 目 前 支持 Windows 7 操作 系统 和 Windows 8 操作 系统 ， 开 发 环境 使 用 
Visual Studio 2010 Express 及 以 上 版 本 ， 文 持 的 开发 语言 包括 C++、C# 和 VB.NET。 

Kinect for Windows SDK 主 要 包括 以 下 几 个 功能 。 

口 骨骼 追踪 : 对 在 Kinect 视 野 范 围 内 移 动 的 一 个 或 两 个 人 进行 骨骼 追踪 , 可 以 追踪 到 人 体 上 

的 20 个 节点 。 此 外 ，Kinect 还 支持 更 精确 的 人 脸 识 别 。 
口 深度 摄像 头 : 利用 “ 光 编 码 ”技术 ， 通 过 深度 传 感 锅 获取 到 视野 内 的 环境 三 维 位 置信 息 。 
这 种 深度 数据 可 以 简单 地 理解 为 一 张 利用 特殊 摄像头 获取 到 的 图 像 ， 但 是 其 每 一 个 像素 
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的 数据 不 是 普通 彩色 图 片 的 像 系 伸 ， 而 是 这 个 像 双 的 位 置 距离 Kinect 传 感 带 的 距离 。 由 于 
这 种 技术 是 利用 Kinect 红 外 发 射 如 发 出 的 红外 线 对 空间 进行 编码 的 , 因此 无 论 坏 境 光线 如 
何 ， 测 量 结 采 都 不 会 受到 干扰 。 

口 音频 处 理 : 与 Microsoft Speech 的 语音 识别 API 集 成 ,使 用 一 组 具有 消除 噪声 和 回 波 的 四 元 
麦克 风 阵 列 ， 能 够 捕捉 到 声 源 附近 有 将 范围 之 内 的 各 种 信息 。 
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目前 ， 国 外 已 经 出 现 了 很 多 使 用 Kinect 开 发 的 精彩 应 用 ， 比 如 Kinect 试 衣 镜 、Air Presenter 演 
讲 软件 、Kinect 光 剑 、Kinect 街 头 霸王 等 。 很 多 创意 都 可 以 在 MSDN Channel 9 的 Coding4fun 栏 目 
里 看 到 。 

在 国内 ，Kinect for Windows SDK Beta 发 布 伊 娘 ， 微 软 亚洲 研究 院 便 启动 了 “微软 校园 理 天 
计划 ”之 Kinect Pioneer 项 目 , 在 全 国 范 围 内 动员 微软 学 生 技 术 俱 乐 部 的 同学 们 集思广益 ,提交 他 
们 基于 Kinect 的 新 创意 ， 并 癌 优 秀 的 创意 团队 提供 Kinect 设 备 和 技术 文 持 。 仪 一 个 多 月 的 开发 时 
间 ， 多 个 优秀 创意 团队 便 成 功 提 交 了 Kinect 创 意 项 目 原型 ， 其 中 包括 使 用 手势 进行 变脸 的 3D 脸 谱 
虚拟 平台 、Kinect 教 学 助手 、 基 于 Kinect 的 网 上 试 衣 间 等 。 在 随后 的 2012 微 软 精英 大 挑战 Kinect 
主题 上 ， 来 自 全 国 30 所 高 校 的 100 余 文 队 伍 也 积极 参与 到 Kinect for Windows 的 开发 当中 ， 这 使 得 
Kinect 在 中 国 大 学 生 中 得 到 了 全 面 的 推广 。 

下 面 简 单 介 绍 一 下 来 自 西 安 电 子 科技 大 学 团队 的 3D 脸 谱 虚 拟 平台 。 此 创意 将 京剧 这 门 传统 
艺术 和 新 颖 的 Kinect 技 术 结 合 到 了 一 起 ， 通 过 Kinect 搭 建 了 一 个 可 以 让 京剧 迷 享 受 虚 拟 演 唱 体 验 
的 平台 : 一 个 提供 脸谱 、 服 装 和 场景 的 华丽 人 舞台。 凭借 着 Kinect 的 人 体 识 别 和 传 感 技 术 ， 用 户 可 
以 直接 跳 过 繁复 的 化 妆 过 程 ， 用 手势 来 选择 上 自己 喜爱 的 角色 脸谱 ,， 和 后、 旦 、 净 、 末 、 丑 ， 一 应 俱 
全 ， 选 择 完 毕 后 ， 就 可 以 对 痢 屏 锅 表演 喜爱 的 曲目 并 录像 了 ， 如 图 1-3 所 示 。 当 与 其 他 戏迷 朋友 
分 享 视频 时 , 他 们 可 以 欣赏 到 惟妙惟肖 的 场景 和 表演 。 这样 的 方式 不 仅 能 使 老 京剧 迷 们 的 交流 更 
加 便捷 ， 还 能 让 年 轻 人 通过 更 炫 的 途径 去 了 解 这 门生 动 的 国粹 。 


图 1-3 3D 脸谱 虚拟 平台 
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2011 年 12 月 2 日 ， 由 微软 亚洲 研究 院 举 办 的 Kinect for Windows 人 研讨 会 在 北京 召开 ， 吸 引 了 来 
自 众 多 行业 和 研究 领域 的 专家 学 者 以 及 全 国 各 地 的 大 学 老师 和 学 生 。 人 研讨 会 就 Kinect 的 体感 交互 
技术 及 其 应 用 领域 进行 了 交流 和 讨论 ， 并 且 展 示 了 国内 基于 Kinect for Windows SDK 在 各 个 应 用 
领域 的 研发 成 采 。 下 面 选 择 一 些 有 代表 性 的 项 目 进行 徐 要 介绍 。 

口 基于 Kinect 的 手语 翻 详 系 统 。 手 霹 翻 译 系统 旨 在 解决 登 哑 人 与 正常 人 的 沟通 问题 ， 利 用 
Kinect 对 胶体 动作 的 实时 捕捉 ， 对 特定 的 手语 动作 进行 识别 ， 最 终 翻 译 成 文字 ， 这 样 不 懂 
手语 的 人 也 可 以 跟 件 哑 人 正常 交流 了 。 目 前 ， 该 项 目的 人 研究 已 经 取得 了 重大 的 进展 ， 我 
们 相信 结合 Kinect 强 大 的 体感 交互 技术 ， 在 不 远 的 将 来 就 会 看 到 Kinect 手 语 翻译 系统 成 为 
登 呈 人 的 得 力 助 手 。 

口 空中 手写 .空中 手写 软件 巧妙 地 利用 了 Kinect 对 手 部 节点 的 实时 追踪 ,用 户 只 需 对 着 Kinect 
在 空气 中 比划 ， 便 能 写 出 相应 的 汉字 ， 并 输入 到 计算 机 中 。 该 项 目 为 未 来 的 手写 输入 提 
供 了 新 的 思路 。 

口 虚拟 试 衣 系 统 。 虚 拟 试 衣 系 统 实现 了 不 需 用 户 真 正 穿 上 衣服 便 可 看 到 衣服 上 里 效果 的 虚 
拟 试 衣 体 验 。 用 户 只 需 站 在 屏幕 前 ， 选 择 虚 拟 试 衣 系统 中 存储 的 品牌 衣服 图 片 ， 系 统 会 
根据 Kinect 获 取 到 的 骨架 数据 上 自 适 应 地 穿 在 用 户 在 屏 货 中 的 影像 上 , 达到 轻 轻 松 松 试 衣 的 
效 采 。 这 样 不 仪 使 得 试 衣 变 得 更 加 便捷 、 有 趣 ， 还 能 有 效 减少 试 衣 成 本 。 

口 Kinect 版 水 果 尺 者 。Kinect 版 水 果 久 者 也 是 利用 了 Kinect 的 骨骼 追踪 技术 ， 将 触 屏 版 的 水 
果 忍 者 游戏 移植 到 Kinect 的 体感 控制 上 。Kinect 追 踪 玩 家 双手 的 移动 轨迹 ， 玩 家 只 需 对 着 
屏 间 划 动 双手 便 可 切 下 水 果 ， 侵 然 真 实 版 忍者 ， 在 娱乐 的 同时 还 能 锻炼 喘 体 。 


1.5 小结 


Kinect 是 一 种 廉价 的 动作 捕 提 设备， 适用 于 对 动作 捕捉 精度 要 求 非常 严格 的 领域 , 这 也 是 其 
未 来 发 展 的 方向 。 另 外 ， 现 在 智能 手机 和 平板 电脑 的 发 展 非常 迅猛 ， 虽 然 现在 看 它们 和 了 PC 会 怎 
样 发 展 ， 还 没有 定论 ， 但 是 受 此 趋势 影响 ，Kinect 以 后 绝对 会 趋 于 小 型 化 ， 可 以 断定 这 是 其 发 展 
的 必 经 之 路 。 大 家 都 知道 ， 专 业 领 域 的 产品 用 量 通 常 不 会 很 大 , 但 是 这 个 领域 的 技术 更 新 相对 较 
快 , 随 着 技术 的 完善 , 最 终 专 业 领域 的 技术 一 定 会 逐渐 应 用 到 消费 者 领域 。 互 联网 的 发 展 历史 就 
是 很 好 的 明证 ， 其 他 许多 成 功 普及 的 技术 也 都 遵循 着 这 样 的 发 展 轨 迹 。 


Kinect for Windows 开 发 
环境 配置 


工 欲 善 其 事 ， 必 先 利 其 此 。 要 进行 Kinect for Windows 开 发 ， 首 先 需要 配置 相应 的 开发 环境 。 
本 章 将 详细 介绍 开发 环境 的 软 人 硬件 需求 ， 并 市 领 大 家 一 步 一 步 配置 开发 环境 ， 此 外 ,还 会 简要 介 
绍 NUI API 所 包含 的 内 容 。 


2.1 开发 环境 需求 


Kinect 的 开发 环境 对 计算 机 的 软 人 硬件 有 一 定 的 要 求 ， 但 并 不 高 ， 目 前 主流 的 计算 机 配置 大 都 
能 满足 其 需求 。 
1. 硬件 需求 
计算 机 便 件 方面 的 要 求 如 下 : 
口 需要 拥有 双核 、2.66GHz 以 上 的 CPU; 
口 显卡 支持 Microsoft DirectX 9.0c; 
D 2GB 的 RAM; 
口 Kinect for Windows 传 感 硕 以 及 一 根 专用 的 电源 适 配 线 。 
目前 ，Kinect for Windows SDK 支 持 Windows 7 操作 系统 和 Windows 8 操作 系统 。 另 外 ，Kinect 
for Windows SDK 还 文 持 虚 拟 机 , 可 以 使 用 的 虚拟 机 环境 有 Microsoft HyperV、VMWare 和 Parallels。 
3. 软件 需求 
除了 人 硬件 需求 和 系统 需求 外 ，Kinect for Windows 开 发 还 需要 配备 有 以 下 环境 。 
口 Microsoft Visual Studio 2010 或 Visual Studio 2012 , 本 书 使 用 Microsoft Visual Studio 2010( 它 
可 以 从 微软 官网 免费 下 载 ， 网 址 是 http://www.microsoft.com/visualstudio/en-us/products/ 
2010-editions/express 。 学 生 朋 友 们 可 以 访问 DreamSpark 网 站 获取 相应 的 开发 工具 。 
DreamSpark 是 由 微软 主办 的 一 个 项 目 ， 旨 在 帮助 学 生 免 费 获 取 和 体验 微软 正版 开发 工具 。 
口 Microsoft .NET Framework 4.0， 它 会 随 Visual Studio 2010 一 起 安装 ， 或 是 随 Visual Studio 
2012 一 起 安装 的 Microsoft .NET Framework 4.5。 
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2.2 配置 开发 环境 


安装 完 上 万 提 到 的 任 一 版 本 的 Visual Studio 后 ， 就 可 以 安装 从 微软 Kinect for Windows 网 站 下 
载 的 SDK 了 了 ， 下 载 地 址 是 http:/www.microsoft.com/en-us/kinectforwindows/。 Kinect for Windows 
SDK 由 以 下 几 部 分 内 容 组 成 : 

口 在 计算 机 上 使 用 的 Kinect 驱 动 ， 支 持 Windows 7 和 Windows 8 操作 系统 ; 

口 API 和 设备 接口 ; 

口 MSDN 上 为 开发 者 提供 的 技术 文档 ， 使 得 开发 更 加 便捷 。 

Kinect for Windows SDK 的 安 痛 非常 简单 ， 这 里 只 进行 简要 说 明 。 在 “了 最 终 用 户 许可 协议 ” 
窗口 中 ， 人 和 仔细 阅读 许可 协议 ， 然 后 勾 选 “我 同意 许可 条 球 和 条 件 ” 复 选 框 ， 如 图 2-1 所 示 。 


2 


蝎 Kinect for Windows SDK 安装 程序 


KINECT 


最 终 用 户 许 可 协议 


Microsoft Kinect for Windows 软件 开发 工具 包 (SDK) 
这 些许 可 条 教 构成 您 与 Microsoft (China) Company Limited 之 间 的 协议 。 请 阅读 条 教 
件 ， 包 括 您 用 来 接收 该 软件 的 介质 “如 有 ) 。 本 协议 同样 适用 于 该 软件 的 任何 Microso 
。 更 新 
。 补充 程序 
。 文档 和 


支持 服务 

除非 这 些 项 目 附 带 有 其 他 条 款 ) 。 如 果 确 实 附 带 有 其 他 条 款 ， 应 遵守 那些 条 款 。 

本 软件 只 授予 使 用 许可 ， 而 非 出 售 。 下载 、 安 装 、 访 问 或 使 用 该 软件 ， 即 表示 您 接受 本 协议 的 所 有 条 款 。 如 

果 您 不 接受 这 些 条 款 ， 请 不 要 下 载 、 安 装 、 访 问 或 使 用 该 软件 。" 您 "代表 下 载 、 安 装 、 访 问 或 使 用 软件 的 个 

人 《如果 您 代表 法 律 实体 ， 则 "您 "也 代表 实体 ， 而 且 和 您 声明 并 保证 您 有 扑 代 表 该 实体 签署 该 协议 )。 

如 果 您 遵守 这 些许 可 条 款 ， 您 将 拥有 以 下 视 利 。 

人 安装 和 使 用 权利 。 
a. 安装 和 使 用 。 您 可 以 (i) 在 您 的 计算 机 中 安装 和 使 用 任意 数量 的 软件 副本 只 有 在 使 用 相应 的 
软件 安装 程序 包 进行 安装 时 ) ， 对 只 在 Microsoft Windows 操作 系统 上 运行 、 专 门 跟 Microsoft Kinect 
for Windows 传感器 配合 使 用 的 Windows 的 程序 以 及 相关 的 驱动 程序 和 运行 库 软 件 以 及 其 他 传感器 

("Kinert far Windaws 应 用 程度 进行 设计 、 开 败 和 测 | 十 ，rin 根据 本 协 说 的 条 款 分 由 你 的 Kinert fn 


[| 二 襄 + 可 冬训 和 矢 件 安装 (©) 取消 (Co) 


图 2-1 安装 许可 协议 


接着 单 击 “安装 ”按钮 ， 开 始 Kinect for Windows SDK 的 安装 。 安 装 程序 会 上 自动 识别 操作 系 
统 类 型 并 选择 安装 相应 的 SDK， 如 图 2-2 所 示 。 


本 Kinect for Windows SDK 安装 程序 四 [人 ee 
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安装 结束 以 后 ， 就 会 看 到 “安装 已 完成 ”界面 , 如 图 2-3 所 示 , 这 说 明 Kinect for Windows SDK 
已 经 安装 成 功 了 。 还 会 看 到 下 载 开发 者 工具 包 的 提示 ， 第 7 章 将 介绍 开发 者 工具 包 的 安装 。 
芳 Kinect for Windows SDK 安装 程序 EE | 


图 2-3”SDK 安 装 成 功 


此 时 , 将 Kinect for Windows 设 备 连 接 到 电脑 上 , 系统 会 自动 安装 设备 驱动 , 安装 结果 如 图 2-4 
所 示 。 这 时 Kinect for Windows 设 备 的 绿色 指示 灯 开 始 内 炼 ， 表 示 了 驱动 安装 成 功 。 


bi 


站 驱动 程序 软件 安装 
设备 准备 就 绪 


Generic USB Hub sf 可 以 使 用 
Kinect for Windows Device sf 可 以 使 用 
Kinect for Windows Audio Control Wf 可 以 使 用 
Kinect for Windows Camera sy 可 以 使 用 
USB Composite Device sf 可 以 使 用 
Kinect for Windows Audio Array Contro| -WY 可 以 使 用 


Kinect for Windows Security Control 可 以 使 用 
Kinect USB Audio 可 以 使 用 


图 2-4 ”驱动 安装 成 功 


2.3 Kinect for Windows SDK 技术 架构 


Kinect for Windows SDK 提 供 了 非常 尖端 和 复杂 的 软件 库 及 工具 ， 帮 助 开发 着 充分 利用 基于 
Kinect 的 自然 输入 、 信 息 捕获 以 及 对 真实 世界 事件 的 反应 等 特性 进行 开发 工作 。Kinect 传 感 右 通 
过 该 软件 库 与 应 用 程序 进行 交互 ， 如 图 2-5 所 示 。 

其 中 ，Kinect for Windows SDK 中 的 设备 驱动 程序 首先 从 便 件 读 取 原 妈 数据 ， 包 括 图 像 数 据 、 
深度 数据 和 音频 数据 , 然后 在 NUI 类 库 中 进行 计算 , 得 到 上 骨骼 点 位 置 、 声 源 位 置 等 信息 。 而 Kinect 
应 用 则 通过 与 NUI 类 库 中 的 接口 进行 交互 ， 来 获取 所 需 的 数据 。 
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Kinect 旋 用 


A 调 辆 重税 角 
闭 取 数据 进 


Kinect for Windows SDK 


图 2-5 ”应 用 程序 与 软 便 件 之 间 的 交互 


NUI (Natural User Interface， 目 然 用 户 界 面 ) 是 指 一 类 无 形 的 用 户 界 面 。“ 上 自然 ”一 词 是 相 
对 图 形 用 户 界 面 ( GUI ) 而 言 的 ,GUI 要求 用 户 必 须 先 学 习 软 件 开发 者 预先 设置 好 的 操作 ,而 NUI 
则 只 需要 人 们 以 最 自然 的 交流 方式 ( 如 语言 和 文学 ) 与 机 融 互 动 。 直 观 地 说 ， 使 用 NUI 的 计算 机 
不 需要 键盘 或 鼠标 。 

NUIAPI 是 Kinect for Windows API 的 核心 , 负责 获取 Kinect 设 备 捕获 到 的 首 频 流 以 及 彩色 和 深 
度 图 像 流 ， 并 且 控 制 Kinect 设 备 ， 文 持 基 本 的 图 像 和 设备 管理 特性 。NUIAPI 的 主要 功能 包括 : 

口 访问 连接 到 电脑 上 的 Kinect 设 备 ; 

口 通过 Kinect 图 像 传 感 带 获取 彩色 图 像 和 深度 数据 ; 

口 传送 处 理 过 的 彩色 图 像 和 深度 数据 ; 

口 利用 彩色 图 像 和 次 度数 据 来 进行 骨骼 跟 躁 ; 

口 通过 麦克 风 组 获取 音频 数据 。 

PC 上 的 Kinect 驱 动 程序 文 持 在 一 台电 脑 上 使 用 多 个 Kinect 设 备 。 在 NUI API 中， 包含 计算 
Kinect 传 感 带 数量 的 限 数 ,， 用户 可 以 目 己 决定 连接 到 电脑 的 Kinect 设 备 数 量 , 并 且 得 到 特定 Kinect 
的 ID， 每 个 Kinect 设 备 都 可 以 独立 打开 或 设置 。 


2.4 ”小 结 


本 章 主 要 介绍 了 Kinect for Windows 开 发 环境 的 配置 方法 , 可 以 看 出 配置 过 程 十 分 简单 。 开 发 
环境 已 经 配置 完成 ， 从 下 一 章 开 始 ， 我 们 就 要 逐步 学 习 Kinect 开 发 的 相关 知识 了 ， 每 一 部 分 的 知 
识 都 结合 了 实例 程序 ， 读 者 可 以 边 学 边 做 ， 快速 入 门 。 


”第 二 部 分 
Kinect 开发 骗 


在 开发 Kinect 应 用 之 前 ， 首 先 需要 了 解 Kinect for Windows SDK 的 具体 功能 : 能 提供 什么 
类 型 的 数据 ， 数 据 的 组 织 方式 是 怎样 的 ， 使 用 什么 方法 获取 数据 ， 数 据 的 规格 是 什么 ， 等 等 。 
只 有 解决 了 这 些 基 础 的 问题 ， 才 能 够 通过 合适 的 方法 来 开发 日 己 的 Kinect 应 用 。 

因此 ， 本 书 的 第 二 部 分 将 会 围绕 这 些 问题 ， 对 Kinect for Windows SDK 中 的 API 以 及 通过 
API 获取 的 相关 数据 进行 详细 的 介绍 。 同 时 ， 每 一 章 都 配 有 相应 的 实例 程序 来 帮助 大 家 更 好 地 
理解 调用 API 的 方法 ， 并 对 获取 到 的 各 类 数据 格式 有 一 个 最 直观 的 认识 。 


Kinect 彩 色 和 红外 图 像 数 据 
的 处 理 


前 面 介 绍 过 ，Kinect 总 共有 3 个 摄像 头 ， 中 间 的 一 个 是 RGB 摄像 头 ， 彩 色 图 像 就 是 通过 该 摄 
像 头 获取 的 。 跟 普通 的 摄像 头 一 样 , 彩色 图 像 数 据 流 以 一 系列 静态 图 像 的 形式 传送 给 应 用 程序 。 两 
边 的 深度 传 感 需 会 产生 并 接收 随机 分 布 的 红外 光线 ， 用 以 确定 物体 距离 Kinect 传 感 顺 的 距离 并 计算 
出 深度 图 像 ，Kinect for Windows SDK 提 供 了 获取 彩色 图 像 和 红外 图 像 的 API， 下 面 将 做 详细 介绍 。 


3.1 彩色 图 像 的 格式 


从 Kinect 获 取 的 彩色 图 像 有 两 种 质量 一 -普通 质量 和 高 质量 ， 而 图 像 质量 决定 了 数据 从 
Kinect 传 输 到 PC 的 速度 。 下 面 简要 介绍 这 两 种 图 像 质量 。 
口 普通 质量 : 彩色 网 像 数据 在 传递 给 应 用 欣 制 台 之 前 会 在 传 感 硕 端 进行 压缩 ， 接 着 在 控制 
台 解 压 数据 ， 然 后 将 数据 传递 到 应 用 上 。 图 像 压 缩 使 得 返回 的 彩色 数据 的 帧 率 高 达 30fs， 
但 是 会 降低 图 像 质量 。 
口 高 质量 : 彩色 图 像 数据 在 传 感 硕 端 不 会 进行 压缩 ， 它 将 获取 的 原始 数据 直接 传递 给 控制 
人 台 。 由 于 图 像 没 有 压缩 ， 那 么 每 帧 就 要 传递 更 多 的 数据 ， 因 此 最 大 帧 率 不 会 超过 15f's。 
此 外 ， 没 有 压缩 的 数据 也 需要 系统 分 配 更 大 的 缓冲 空间 。 
Kinect 传 感 硕 通过 USB 连 接 到 PC， 该 连接 提供 一 个 给 定 的 齐 宽 值 。 根 据 用 户 对 图 像 质 量 的 选 
择 ， 可 以 调整 使 用 的 带宽 值 。 如 果 选 择 高 质量 的 图 像 ， 每 帧 会 发 送 更 多 的 数据 ， 但 更 新 比较 慢 ; 
而 如 果 选 择 普通 质量 的 图 像 ， 更 新 较 快 ， 但 会 降低 图 像 质量 。 
彩色 数据 可 以 选用 两 种 色彩 格式 , 这 两 种 格式 决定 了 返回 应 用 的 图 像 数 据 是 以 RGB 形式 还 是 
以 YUV 形 式 编 码 。 
口 RGB 格式 在 RGB 色彩 空间 提供 32 位 线性 X8R8G8B8 格 式 的 彩色 位 图 。 
DYUV 格 式 提供 16 位 伽 马 校正 的 线性 UYVY 格 式 的 彩色 位 图 ，YUV 色 彩 空 间 的 伽 马 校正 等 
价 于 RGB 色彩 空间 的 SRGB 伽 马 校正 。 由 于 YUV 流 中 每 个 像素 只 有 16 位 ， 因 此 用 这 种 格式 
保存 位 图 数据 时 占用 的 存储 空间 较 少 ， 调 用 NuiImageStreamopen 国 数 时 只 需 分 配 较 小 
的 缓存 。 
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在 实际 编程 中 ， 可 以 根据 应 用 程序 实现 的 需要 选择 合适 的 图 像 数 据 格式 。 而 在 Kinect for 
Windows SDK 的 API 中 , 彩色 图 像 类 型 用 枚 举 类 型 colorImageFormat 表 示 , 可 枚 举 的 值 如 表 3-1 
所 示 。 


表 3-1 ColorImageFormat 类 型 的 枚 举 值 


成 员 名 称 描 述 
InfraredResolution640x480Fps30 红外 数据 ， 分 辨 率 为 640x480， 帧 率 为 1SVs 
RawBayerResolution1280x960Fps12 拜 尔 原 始 数据 ， 分 辨 率 为 1280x960， 帧 率 为 12f/s 
RawBayerResolution640x480Fps30 拜 尔 原始 数据 ， 分 辨 率 为 640x480， 帧 率 为 30f's 
RawYuvResolution640x480Fps15 数据 类 型 为 Raw YUV， 分 辨 率 为 640x480， 帧 率 为 1Sf/s 
RgbResolution1280x960Fps12 数据 类 型 为 RGB， 分 辨 率 为 1280x960， 帧 率 为 12f/s 
RgbResolution640x480Fps30 数据 类 型 为 RGB ， 分 辨 率 为 640x480， 帧 率 为 30fs 
YuvResolution640x480Fps15 数据 类 型 为 YUV， 分 辩 率 为 640x480， 帧 率 为 15f/s 
Undefined 未 定义 的 格式 


3.2 ”红外 数据 流 


介绍 红外 数据 之 前 ,首先 简要 介绍 一 下 Kinect 深 度 摄像 机 的 工作 原理 。 如 1.3.1 市 所 述 , Kinect 
左右 两 侧 的 传 感 融 分 别 负责 发 射 和 接收 红外 线 : Kinect 首 先 通过 左 侧 的 红外 线 发 射 器 回环 境 中 发 
射 红 外 线 , 这 束 红 外 线 由 于 具有 志 度 随机 性 ,其 在 空间 中 任意 两 个 不 同位 置 所 反射 形成 的 光斑 都 
不 相同 , 对 环境 形成 立体 的 “ 光 编 码 ”; 再 通过 右 侧 的 红外 线 接收 天 来 采集 Kinect 视 野 中 的 红外 线 
图 像 ; 最 终 ， 利 用 这 副 红 外 图 像 和 Kinect 的 原始 参数 进行 一 系列 复杂 的 计算 ， 就 可 以 得 到 视野 中 
的 三 维 次 度 信 息 了 ， 即 下 一 章 会 详细 介绍 的 闪 度 数据 。 

红外 图 像 数 据 需 要 作为 一 种 彩色 图 像 格 式 从 SDK 中 获取 ， 对 应 的 图 像 格式 为 表 3-1 中 的 
InfraredResolution640x480Fps30。 因此 ， 其 处 理 方 式 跟 彩色 图 像 大 体 相 同 而 且 需 要 特别 
注意 的 一 点 是 ， 红 外 图 像 无 法 和 彩色 图 像 同 时 获取 。 


3.3 实例 1 一 一 调用 API 获取 彩色 图 像 数据 和 红外 图 像 ， 并 实现 静 
态 图 像 的 抓 取 


本 节 主 要 讲解 如 何 调 用 Kinect for Windows SDK 相 应 的 API 获 取 彩 色 网 像 和 红外 网 像 数 据 , 具 
体操 作 步 又 如 下 。 

(1) 创建 WPF 工 程 。 打开 Visual Studio 2010, 新 建 一 个 WPF 工 程 , 将 其 命名 为 KinectColorViewer， 
如 图 3-1 所 示 。 
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Recent Templates |.NET Framework4 v | Sort by' | Default 本 国生 让 Search Installed Templates 


Installed Templates 


Windows Forms Application Visual C# ~ 
4 Visual C# es Windows Presentation Foundation client 
Windows | application 
Web WPF Application Visual C# 


Office 
Cloud , Console Application Visual C# 


Reporting 
SharePoint ASP.NET Web Application Visual C# 
Silverlight 

Test ss Class Library Visual C# 
WCF 

Ce ASP.NET MVC 2 Web Application Visual C# 
XNA Game Studio 4.0 和 

Other Languages 


Silverlight Application Visual C# 
Other Project Types 


Database 
Modeling Projects 
Test Projects 


| Silverlight Class Library Visual C# 
Silverlight Business Application Visual C# 
Online Templates 


| WCF RIA Services Class Library Visual C# 


WCF Service Application Visual C# 


Name: KinectColorViewer 
Location: ci\users\v-bl\documents\visual studio 2010\Projects Browse,,. 


| Solution name: KinectColorViewer Create directory for solution 


Add to source control 


图 3-1 新建 WPF 工 程 


(2) 添加 Kinect for Windows SDK 程 序 集 的 引用 。 在 “Solution Explorer” 一 栏 中 ， 石 击 
“References”， 在 弹出 的 快捷 菜单 中 选择 “Add Reference” 且 单项 ， 此 时 将 打开 “Add Reference” 
对 话 框 ， 从 中 找到 Microsoft.Kinect， 并 添加 该 引用 ， 如 图 3-2 和 图 3-3 所 示 。 


尖 Build 


Rebuild 
Clean oo Add Reference 
名 publish.. 
Run Code Analysis :NET | COM | Projects | Browse | Recent | 


Calculate Code Metrics Filtered to: .NET Framework 4 Client Profile 


Add 上 
Add Reference,,, 
Add Service Reference,,， 


Component Name Version Runtime 
microsoft,msxml 8.0.0.0 V2.0.50727 
Microsoft.mshtml 7.0.3300.0 v1,0.3705 
Microsoft.mshtml 7.0.3300.0 JiL.0.3705 
Microsoft.Kinect 1.0.0.0 v4,0.30319 


受 View Class Diagram 
Set as StartUp Project 


Debug » Microsoft,JScript 10.0.0.0 v4,0.30319 
纺 Add Solution to Source Control... Microsoft.Expression.Prototypin... 3.5.0.0 V2.0.50727 
| Microsoft.Expression.Prototypin... 4.0.0， v4.0.30319 
Cut Ctrl+X 
Microsoft,Expression.Prototypin,.. 3.5.0， V2.0.50727 
a Ce Microsoft.Expression.Prototypin... 4.0.0, v4,0.30319 
X Remove Del Microsoft.Expression.Interactions ”3.5.0， V2.0.50727 
Rename | pe 


Unload Project 


Open Folder in Windows Explorer 


| | Cancel 


nl Es 


Properties Alt+Enter 


图 3-2 ”添加 引用 选项 图 3-3 ”Microsoft.Kinect 库 


(3) 添加 控件 。 双 击 打 开 MainWindow.xaml 文 件 ， 在 设计 和 恬 中 添加 一 个 Image 控 件 ， 用 于 显示 
获取 到 的 彩色 图 像 。 将 这 个 Image 控 件 命 名 为 ColorImage， 对 应 的 MainWindow.xaml 中 的 代码 如 
下 所 示 : 
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<GIrid> 
<Image Height="311" HorizontalAlignment="Left" 

Name="ColorIimage" Stretch="Fill" VerticalAlignment="Top" Width="503" /> 
</Grid> 


(4) 引用 命名 空间 。 打 开 MainWindow.xaml.cs 文 件 ， 在 文件 头 添加 对 Kinect 对 和 象 的 引用 ， 如 下 
所 示 : 


using Microsoft.Kinect; 


(5) 添加 窗口 加 载 和 关闭 函数 。 打 开 MainWindow.xaml 的 设计 器 ， 在 “Properties” 窗 口中 选 
中 “Events” 选 项 卡 ， 找 到 “Loaded” 和 “Closed” 事 件 ， 分 别 双 击 即 可 添加 相应 的 事件 处 理 函 
数 ? 如 儿 3-4 所 示 O 


Properties vx 
Window =<no name= A 


Properties ~ Events 


Search X 
IsMouseDirectly... 已 
IsStylusCaptured..， 已 
IsStylusCapture... 口 
IsStylusDirectlyO... 已 
IsVisibleChanged ”已 
KeyDown 0 
KeyUp 0 
LayoutUpdated 口 

L 


[CI -| 


LocationChanged 


0 
LostFocus 0 
LostKeyboardFo... 口 
LostMouseCaptu... [Oa 
LostStylusCapture 口 


图 3-4 Loaded 事件 添加 


(6) 定义 KinectSensor 对 象 。KinectSensor 类 提供 了 一 些 接 口 ， 用 于 管理 Kinect 设 备 的 开 
天 以 及 所 有 数据 的 获取 等 ,详细 内 容 可 以 查阅 Kinect for Windows SDK 附 囊 的 技术 文档 。 在 
MainWindow.xaml.cs 文 件 的 Mainwindow 类 中 ， 声 明 如 下 所 示 的 两 个 变量 ， 其 中 KinectSensor 
对 象 代表 一 个 单独 的 Kinect 设 备 ，byte 数 组 用 来 存放 获取 到 的 图 像 数 据 。 


KinectSensor kinectSensor; 
private bytel[l] pixelData; 


(7) 在 Loaded 事 件 的 处 理 也 数 中 添加 kinectsensor 对 象 的 初始 化 代码 ， 如 下 所 示 : 


private void Window_ Loaded(object sender, RoutedEventArgs e) 


L 


kinectSensor = (from sensor in KinectSensor.KinectSensors 

where sensor.Status == KinectStatus.Connected 

select sensor) .FirstOrDefault(); 
kinectSensor.ColorStream.Enable (ColorlimageFormat .RgbResolution640x480Fps30); 
kinectSensor.Sstart (); 
kinectSensor.ColorFrameReady+=kinectSensor_ ColorFrameReadqy ， 
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由 于 Kinect for Windows SDK 支 持 多 个 Kinect 同 时 使 用 ， 这 样 通 过 Kinectsensor 类 获取 到 的 
是 一 个 KinectSensors 数 组 。 本 实例 使 用 LINQ 语 句 将 Kinectsensors 数 组 中 Kinectstatus 
为 Connected 的 项 入选 出 来 ， 并 将 得 到 的 Kinect 的 列表 中 第 一 个 或 是 默认 的 Kinect 设 备 赋值 给 
kinectSensor,。o 

然后 通过 kinectSensor 启 用 视频 流 ， 在 ColorsStream 的 Enapble () 方 法 中 初始 化 视频 数据 
的 格式 、 分 辨认 以 及 帧 率 。 

接着 调用 kinectSensor 的 Start () 方 法 局 动 设 备 ， 开 始 接收 视频 流 。 每 当下 一 帧 的 数据 准 
备 好 时 ，colorFrameReady 事 件 会 通知 应 用 程序 添加 一 个 kinectSensor_ColorErameReady 
事件 处 理 函 数 ， 来 获取 该 事件 返回 的 通知 。 

使 用 完 Kinect 后 必须 将 其 关闭 可 以 通过 在 closed 事 件 中 调用 kinectsensor 的 Stop (于 订 
法 来 实现 ， 具 体 代码 如 下 所 示 : 


private void NIndow Closeadq(object sender, EventArgs e) 


{ 


kinectSensor.Stop(); 


| 


(8) 接受 视频 数据 。 在 kinectSsensor_ColorFrameReady 事 件 处 理子 数 中 获取 视频 数据 ， 
并 将 获取 到 的 数据 显示 出 来 。 该 事件 处 理 函 数 的 定义 如 下 : 
private void kinectSensor ColorFrameReady (object sender., 


ColorIimageFrameReadyEventArgs e) 


{ 


USing (ColorIimageFrame imageFrame = e.OpenColorIimageFrame()) 
{ 
if (ijmageFrame != null) 
{ 
this.pixelData = new bytel[limageFrame.PixelDataLength]; 
imageFrame .CopyPixelDataTo (this.pixelData).; 
this.Colorimage.Source = BitmapSource.Create(imageFrame.Width., 


limageFrame.Height, 96, 96, 
PixelFormats.Bgr32, null, pixelData, 
imageFrame.Width * imageFrame.BytesPerPpixel); 


} 


ColorFrameReady 事 件 会 给 事件 处 理 了 浮 数 传递 一 个 ColorImageFrameReadyEventArgs 
参数 e， 通 过 调用 其 中 的 0openColorImageFrame() 方 法 获取 从 Kinect 设 备 返 回 的 下 一 帧 数据 。 
如 果 获 取 到 了 这 一 数据 ， 就 调用 copyPixelDataTo() 方 法 将 数据 复制 到 已 分 配 好 空间 的 byte 
数组 ， 该 数组 的 大 小 由 ColorImageFrame 鸭 PixelDataLength 人 确定 。 

最 后 利用 获取 到 的 数据 创建 一 个 BitmapSsource， 并 将 其 赋值 给 最 初 添加 的 Image 控 件 
ColorImage 的 Source 属 性 。 这 样 就 可 以 不 断 地 将 获取 到 的 下 一 帧 图 像 数 据 刷 新 显示 到 界面 上 。 

(9) 运行 程序 。 按 Ctrl+F5 组 合 键 运行 程序 ， 显 示 结 果 如 图 3-5 所 示 。 
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看 MainWindow 


、 
\ 


§ 


图 3-5 ”获取 彩色 图 像 运行 结果 


(10) 红外 图 像 实际 上 是 彩色 图 像 的 一 种 特殊 格式 ， 因 此 红外 图 像 的 获取 方式 跟 彩色 图 像 一 
样 ， 只 需 在 上 述 代 码 中 进行 两 处 修改 即 可 。 将 


kinectSensor.ColorStream.Enable (ColorlimageFormat.RgbResolution640x480Fps30); 
这 条 语句 中 的 图 像 格式 改 为 
kinectSensor.ColorStream.Enable(ColorIimageFormat.InfraredResolution640x480Fps30); 


这 是 因为 ColorImageFormat .InfraredResolution640x480Fps3 0 是 红外 图 像 的 格式 类 型 。 
同时 ， 由 于 红外 图 像 为 16 位 的 灰 度 图 像 ， 因 此 需要 将 显示 图 像 语句 


this.ColorIimage.Source = 


BitmapSource.Create(imageFrame .Width, 
imageFrame.Height, 96, 96, PixelFormats. Bgr32, null, 


pixelData, 
limageFrame.Width * imageFrame.BytesPerpPpixel),; 


改 为 


this.ColorIimage.Source = 


BitmapSource.Create(imageFrame.Width, 
limageFrame.Height, 96, 96, PixelFormats. Grayl16, null, 
limageFrame.Width * imageFrame.BytesPerpPpixel),; 


重新 编译 ， 运 行程 序 ， 即 可 得 到 红外 图 像 ， 如 图 3-6 所 示 。 


pixelData, 


证 
有 ”MainWindow 


图 3-6 “获取 红外 图 像 运 行 结 
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3.4 小结 


彩色 数据 是 Kinect 开 发 中 一 种 最 基本 的 数据 类 型 ， 它 和 普通 摄像 头 采 集 到 的 数据 一 样 ， 可 以 
用 于 开发 基于 图 像 的 应 用 程序 。 另外, 我 们 还 可 以 结合 后 面 讲 到 的 深度 数据 和 骨骼 追踪 数据 开发 
出 更 多 有 趣 的 体感 交互 应 用 程序 。 

而 红外 图 像 数据 作为 次 度数 据 和 骨骼 奶 踪 数据 的 前 吴 , 由 于 其 数据 类 型 过 于 原始 而 很 少 在 应 
用 开发 中 直接 使 用 。 不 过 相信 在 不 久 的 将 来 , 一 定 会 涌现 出 更 多 利用 红外 图 像 数据 开发 出 来 的 优 
秀 应 用 。 


Kinect 作 度 歼 据 的 处 理 


Kinect 两 侧 的 传 感 硕 负责 获取 深度 数据 ， 而 深度 数据 是 指 Kinect 视 野 范 围 内 的 物体 到 Kinect 
的 三 维 空间 距离 。 本 章 将 首先 对 深度 数据 的 结构 进行 讲解 ,接着 结合 一 个 实例 程序 介绍 如 何 获取 
并 处 理 深 度数 据 。 


4.1 深 度数 据 的 结构 


深度 数据 流 提 供 了 一 种 结构 , 该 结构 中 每 个 像素 的 高 13 位 表示 在 深 度 传 感 硕 的 视野 范围 内 离 
特定 坐标 物体 最 近 的 距离 (单位 ，mm )。 有 两 种 深度 数据 流 可 以 使 用 : 

口 帧 的 大 小 为 320x240 像 素 ; 

口 帧 的 大 小 为 80x60 像 素 。 

在 Kinect for Windows SDK 中 ，Kinect 通 过 处 理 深度 数据 来 识别 传 感 帮 组 前 的 两 个 人 体 图 像 ， 
然后 创建 玩家 分 段 图 。 该 图 是 一 张 位 图 ， 其 像素 值 与 视野 内 距离 摄像 头 最 近 的 玩家 索引 对 应 。 

尽管 玩家 分 段 数据 是 隔离 的 逻辑 流 , 但 实际 上 深度 数据 和 玩家 分 段 数 据 被 合并 到 了 一 个 独立 
的 结构 中 

口 每 个 像素 的 高 13 位 表示 从 深度 传 感 带 到 最 近 的 物体 的 距离 ， 单 位 为 mm; 

口 每 个 像素 的 低 3 位 表示 在 像 系 的 y 坐 标 系 上 追 踊 到 的 可 见 的 玩家 索引 ， 这 3 位 可 看 做 整 型 值 。 

玩家 索引 值 为 0， 表 示 在 相应 位 置 没 有 找到 玩家 ， 索引 值 为 1 和 2 表示 检测 到 的 玩家 编号 ， 依 
次 类 推 。 目 前 深度 数据 最 多 可 以 检测 到 6 名 玩家 。 玩 家 分 段 数据 常用 来 隔离 特定 的 玩家 ， 或 是 从 
原始 的 彩色 深度 图 像 中 分 离 出 感 兴趣 的 区 域 。 


4.2 ”实例 2 一 一 调用 API 效 取 深度 数据 ， 并 对 不 同 深 度 值 着 以 不同 
颜色 


本 实例 程序 主要 实现 从 Kinect 获 取 视 野 内 物体 的 深度 值 ， 并 且 根 据 物 体 距 离 Kinect 的 远近 着 
以 不 同 的 颜色 。 前 面 的 部 分 实现 细节 同上 一 章 的 实例 程序 一 样 ， 这 里 简要 略 过 。 

() 配 置 开 发 环境 。 同 第 3 草 的 实例 一 样 , 首先 新 建 一 个 WPF 工 程 , 命名 为 KinectDepthViewer， 
接着 添加 Kinect for Windows SDK 程 序 集 的 引用 。 

(2) 同样 添加 一 个 Image 控 件 ， 命 名 为 DepthImage， 用 于 显示 获取 到 的 深度 图 像 。 
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<Grid> 
<Image Height="311" 

HorizontalAlignment="Left" 
Name="DepthIimage" 
Stretehs"RLiLl" 
VerticalAlignment="Top" 
Width="503™ /3 

</Grid> 


(3) 在 MainWindow.xaml.cs 文 件 中 引入 NUI 的 命名 空间 。 


Using Microsoft.Kinect; 


(4) 在 MainWindow.xaml.cs 文 件 的 Mainwindow 类 中 ， 声 明 如 下 所 示 的 两 个 变量 ， 其 中 
KinectSensor 对 象 代 表 一 个 单独 的 Kinect 设 备 ; short 数 组 用 来 存放 获取 到 的 深度 图 像 数 据 。 
前 面 讲 到 ， 深 度 图 像 数 据 中 每 个 像素 都 是 用 16 位 表示 的 ， 因 此 使 用 snort 数 组 。 


KinectSensor kinectSensor; 
private Short [] pixelData; 


(5) 添加 窗口 加 载 和 关闭 函数 ， 具 体 代 码 如 下 : 


private void Window_ Loaded(object sender, RoutedEventArgs e) 


‘ 


kinectSensor = (from sensor in KinectSensor.KinectSensors 
where sensor.Status == KinectStatus.Connected 
select sensor) .FirstOrDefault(); 


kinectSensor.DepthStream.Enable (DepthIimageFormat.Resolution320x240Fps30);， 
kinectSensor.Start().; 


kinectSensor.DepthFrameReady += new 


EventHandler<DepthimageFrameReadyEventArgs> (kinectSensor _ DepthFrameReadqy ) :; 
} 


private void Window_ Closedl(object sender, EventArgs e) 
{ 
kinectSensor.SsStop();} 


} 

与 上 一 草 的 实例 类 似 ， 首 先 使 用 LINQ 语 句 筛选 连接 到 电脑 的 Kinect 设 备 ， 并 赋值 给 
kinectgsensor。 然 后 调用 Depthstream 的 Enable() 函数 启用 深度 图 像 数据 ， 其 参数 为 
Resolution320x240Fps30， 含义 是 设置 深度 图 像 的 分 辨 率 为 320 x 240， 帧 率 为 30f/s。 

接 下 来 ， 调 用 Start () 函数 启动 Kinect 数 据 流 。 每 当下 一 帆 的 次 度 图 像 数 据 准 备 好 时 ， 
DepthFrameReady 事 件 会 通知 应 用 程序 添加 一 个 kinectsensor_DepthFrameReady 事 件 处 理 
中 数 ， 以 获取 该 事件 返回 的 通知 ， 参 数 类 型 为 DepthImageFrameReadyEventArgs。 

(6) 获取 深度 图 像 数 据 。 在 kinectsensor_DepthFrameReady 事 件 的 处 理 孔 数 中 获取 深度 
图 像 数 据 ， 并 将 其 显示 在 界面 上 。kinectSensor_DepthFrameReady 事 件 处 理 孔 数 的 定义 如 下 
所 示 。 


private void kinectSensor DepthFrameReady (object sender, 
DepthImageFrameReadyEventArgs e) 
{ 


4.2 ”实例 2 一 一 调用 API 获取 深度 数据 ， 并 对 不 同 深 度 值 着 以 不 同 颜色 .| 


using (DepthIimageFrame depthIimageFrame = e.OpenDepthIimagerFrame()) 
{ 
if (depthIimageFrame != null) 
{ 
pixelData = new short[depthIimageFrame.PixelDataLength]; 
depthImageFrame.CopyPixelDataTo (pixelData);} 
this.DepthIimage.Source = BitmapSource.Create (depthIimageFrame .Width, 
depthImageFrame.Height, 96, 96, PixelFormats.Grayl1l6, null, pixelData, 
depthImageFrame.Width * depthImagerfFrame.BytesPerPixel);} 


由 
J 


可 以 看 到 ， 上述 代码 调用 openDepthImageFrame () 国 数 来 获 取 浴 度 图 像 数据 , 次 度 图 像 数 
据 类 型 定义 为 DepthImageFrame ， 关 于 该 类 型 的 详细 介绍 可 以 参阅 SDK 附 带 的 技术 文档 。 
depthImageFrame 不 为 空 代表 获取 到 了 深度 图 像 数 据 ， 这 时 可 调用 DepthImageFrame 的 
CopyPixelDataTo() 方 法 ,将 从 Kinect 设 备 获取 到 的 深度 图 像 数 据 复制 到 short 数 组 。 当 然 ， 
在 这 之 前 要 给 pixelData 分 配 相 应 的 空间 大 小 由 depthIimageFrame HPixelDataLength 属 
性 决定 。 

最 后 利用 获取 到 的 数据 创建 一 个 BitmapSource， 并 将 其 赋值 给 最 初 添 加 的 Image 控 件 
ColorImage 的 Source 属 性 ,这 样 就 可 以 不 断 地 将 获取 到 的 下 一 帆 的 深度 图 像 数 据 刷 新 显示 到 界 
面 上 。 需 要 注意 ， 与 上 一 章 实 例 不 同 的 是 ， 像素 格式 PixelFormats 的 值 为 Gray1 6， 因 为 原始 
的 帝 度 图 像 数 据 是 16 位 灰 度 图 像 。 

(7) 运行 程序 ， 得 到 的 显示 结果 如 图 4-1 所 示 。 


"MainWindow 


图 4-1 灰 度 图 像 获 取 结 


图 中 显示 的 是 原始 的 灰 度 图 像 。 为 了 使 读者 对 深度 图 像 的 数据 结构 有 更 深入 的 理解 , 接 下 来 
将 介绍 如 何 获 取 每 个 像素 点 的 深度 值 ， 并 针对 不 同 的 深度 值 着 以 不 同 的 颜色 。 

我 们 首先 来 分 析 深 度数 据 的 结构 特点 。 上 面 已 经 提 到 ,调用 DepthImageFrame 的 
CopyPixelDataTo() 方 法 ， 可 以 将 从 Kinect 获 取 到 的 深度 数据 复制 到 short 类 型 的 pixelData 
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数组 ， 该 数组 包含 了 每 个 像 系 的 深度 信息 和 玩家 索引 信息 。 由 于 每 个 像 系 都 用 16 位 表示 低 3 位 
表示 玩家 有 汉 引 ， 遍 13 位 表示 诬 上 度 值 )， 因 此 我 们 可 以 通过 移 位 操作 得 到 相应 的 值 。 对 每 个 像素 的 
值 只 取 低 3 位 便 可 得 到 玩家 索引 值 , 取 值 范 围 为 0~ 7, 0 代表 没有 玩家 ,1 代表 玩家 1, 2 代表 玩家 2 ， 
依次 类 推 ; 将 该 像素 的 值 右 移 3 位 即 可 得 到 座 度 值 ， 理 论 上 该 值 的 范围 为 0 ~ 8192 毫米。 下 列 代 
但 表示 获取 第 i 个 像 系 局 的 玩家 过 引 和 实 | 未 深度 值 o 其 中 ， PlayerindexBitmask 和 
PlayerIndexBitmaskWidth 是 DepthImageFrame 的 两 个 常量 属性 ， 分 别 为 7 和 3: 


int player = depthFramel[i] & DepthIimageFrame.PlayerindexBitmask; 
int realDepth = depthFrame[i] >> DepthImageFrame.PlayerIindexBitmaskWidth; 


在 了 解 了 深度 数据 的 结构 之 后 ， 接 下 来 就 需要 写 一 个 图 数 convertDepthFrame () ,将 得 到 
的 原始 灰 度 深度 数据 转化 为 彩色 数据 。 在 Mainwindow 类 中 定义 一 个 byte 数 组 depthFrame32 来 
存储 彩色 图 像 数 据 ， 此 外 还 需要 定义 3 个 常量 ， 用 来 索引 每 个 像素 的 RGB 值 ， 具 体 代码 如 下 : 


bytel[] depthrFrrame32; 
private const int RedIndex = 2;，; 


private const int GreenIndex | 


private const int BluelIndex = 0; 


ConvertDepthFrame () 图 数 的 实现 代码 如 下 : 


private byte[] ConvertDepthFrame(short[|] depthFrame, DepthIimageStreamdepthStream) 
{ 

int tooNearDepth = depthStream.TooNearDepth; 

int tooFarDepth = depthStream.TooFarDepth; 

int unknownDepth = depthStream.UnknownDepth; 


1 = 0, Jj = 0; i<depthFrame.Length&& ] < this.depthFrame32 .Length,; 
li++, J] += 4) 


int player = depthFrame[i] & DepthIimageFrame.PlayerIindexBitmask; 
int realDepth = depthFrame[i] >> DepthImageFrame.PlayerIindexBitmaskWidth; 
// 根 据 深 度 值 的 不 同 着 以 不 同 的 颜色 


if (player == 0 && realDepth == 0) 
{ 
// 自 色 
this.depthFrame32[] + RedIindex] = 255; 
this.depthFrame32[] + GreenIindex] = 255; 
this.depthFrame32[] + BluelIndex] = 255; 
} 
else if (player == 0 &&realDepth>0 &&realDepth<= tooNearDepth) 
{ 
/ /青色 
this.depthFrame32[] + RedIindex] = 0; 
this.depthFrame32[] + GreenIndeXx]l = 255; 
this.depthFrame32[] + BlueIndex|] = 255; 
} 
else if (player == 0 &&realDepth>tooNearDepth&&realDepth<tooFarDepth) 
{ 
/ /紫色 
this.depthFrame32[] + RedIindex] = 160; 
this.depthFrame32[] + GreenIndex] = 32; 


this.depthFrame32[] + BlueIndex|] = 240; 


4.2 ”实例 2 一 一 调用 API 获取 深度 数据 ， 并 对 不 同 深 度 值 着 以 不 同 颜色 oe: 


} 


else if (player == 0 &&realDepth>= tooFarDepth) 
‘ 
// 灰 色 
this.depthFrame32[] + RedIindex|] = 192; 
this.depthFrame32[] + GreenIndeXx]l = 192; 
this.depthFrame32[] + BlueIndex|] = 192; 
} 
else if (player == 0 &&realDepth == unknownDepth) 
{ 
/ /黄色 
this.depthFrame32[] + RedIindex|] = 255; 
this.depthFrame32[] + GreenIndeXx]l = 255; 
this.depthFrame32[] + BluelIndex] = 0; 


} 
else if (player>0) 


| 


switch (player) 

{ 

case 1: // 红 色 
this.depthFrame32[] + RedIindex] = 255; 
this.depthFrame32[] + GreenInaeX] = 0; 
this.depthFrame32[] + BluelIndex] = 0; 
break; 

case 2: 7Y7 录 色 
this.depthFrame32[] + RedIindex] = 0; 
this.depthFrrame32[] + GreenIindex] = 255; 
this.depthFrame32[] + BluelIndex] = 0; 
break; 

default: // 蓝 色 
this.depthFrame32[] + RedIindex] = 0; 
this.depthFrame32[] + GreenIindex] = 0; 
this.depthFrame32[] + BluelIndex] = 255; 
break; 


} 
} 
return this.depthFrame32; 


} 
可 以 看 到 ,转化 函数 需要 传递 两 个 参数 ,第 一 个 参数 不 用 多 说 ,肯定 是 指 存储 获取 到 的 原始 
这 度 数据 的 数组 ; 第 二 个 参数 为 深度 数据 流 DepthImagestream, 是 因为 要 用 到 该 类 型 的 几 个 属 
性 值 。 
为 了 给 不 同 的 闪 度 值 春 以 不 同 的 颜色 ， 这 里 直接 将 DepthImageStream 的 3 个 属性 值 作为 临 
界 点 ， 该 属性 值 的 含义 如 表 4-1 所 示 。 


表 4-1 DepthImageStream 属 性 


~ 


属 性 名 含义 
TooNearDepth 距离 Kinect 太 近 的 最 大 深度 值 ， 单 位 : mm 
TooFArDeBth 距离 Kinect 太 远 的 最 小 深度 值 ， 单 位 : mm 


UnknownDepth 获取 不 到 深度 值 时 返回 的 值 
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在 kinectSensor_DepthFrameReady 事 件 的 处 理 阴 数 中 添加 对 ConvertDepthFrame 的 调 
用 ， 更 新 后 的 kinectSensor_DepthFrameReady 如 下 所 示 : 


private void kinectSensor DepthFrameReady (object sender, 
DepthIimageFrameReadyEventArgs e) 
{ 
using (DepthImageFrame depthlimageFrame = e.OpenDepthIimageFrame()) 
{ 
if (depthImageFrame != null) 
{ 
pixelData = new short[depthIimageFrame.PixelDataLength]; 
depthImageFrame.CopyPixelDataTo (pixelData);} 


this.depthFrame32 = new byteldepthIimageFrame.Width * 
depthImageFrame.Height * 4]; 


this.depthFrame32 = ConvertDepthfFrame (pixelData, ((KinectSensor) 
sender) .DepthStream).; 


this.DepthIimage.Source = BitmapSource.Create (depthImagerFrame .Width., 
depthImageFrame.Height, 96, 96, PixelFormats.Bgr32, null, 
depthFrame32, depthlimageFrame.Wigdth * 4); 


} 
此 时 再 运行 程序 ， 显 示 结 果 如 图 4-2 所 示 。 
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图 4-2 彩色 图 像 获 取 结 


4.3 小结 


由 于 深度 数据 中 包含 了 Kinect 视 野 邦 围 内 的 物体 到 Kinect 的 实际 距离 ， 因 此 根据 深度 值 的 不 
同 , 应 用 程序 可 以 很 容易 地 将 前 景物 体 和 背景 分 离开 来 , 并 且 能 够 从 任意 一 种 深度 数据 流 中 处理 
数据 ,以 支持 多 样 的 常规 特性 ,例如 跟踪 用 户 的 运动 ,， 识别 物体 背景 以 便 在 应 用 播放 时 忽略 掉 背 
景 。 这 一 特性 在 第 9 章 中 得 到 了 很 好 的 应 用 。 


Kinect 肯 ' 骼 奶 足 效 据 的 
处 理 方 法 


骨骼 追踪 技术 是 Kinect 的 核心 技术 ， 它 可 以 准确 标定 人 体 的 20 个 关键 点 ， 并 能 对 这 20 个 点 的 
位 置 进行 实时 追踪 。 利 用 这 项 技术 ， 可 以 开发 出 各 种 基于 体感 人 机 交互 的 有 趣 应 用 。 


5.1 骨骼 奶 踩 效 据 的 结构 


目前 , Kinect for Windows SDK 中 的 骨骼 API 可 以 提供 位 于 Kinect 前 方 宇多 两 个 人 的 位 置信 息 ， 
包括 详细 的 姿势 和 骨骼 点 的 三 维 坐 标 信息 。 男 外 ，Kinect for Windows SDK 最 多 可 以 支持 20 个 骨 
骼 点 。 数 据 对 象 类 型 以 骨骼 帧 的 形式 提供 ， 每 一 帧 最 多 可 以 保存 20 个 点 ， 如 图 $-1 所 示 。 


图 $-1 ”20 个 骨骼 点 示意 图 


在 SDK 中 每 个 骨骼 点 都 是 用 Joint 类 型 来 表示 的 ， 每 一 帆 的 20 个 骨 盘 点 组 成 基于 Joint 类 型 
的 集合 。 此 类 型 包含 3 个 属性 ， 具 体内 容 如 下 所 示 。 
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D JointType: 骨骼 点 的 类 型 ,这 是 一 种 枚 誉 类 型 ,列举 出 了 20 个 骨骼 点 的 特定 名 称 ， 比 
如 “HAND _LEFT” 表 示 该 骨骼 点 是 左手 市 点 。 

DD Position: SkeletonPoint 类 型 表示 骨骼 点 的 位 置信 息 。 skeletonPoint 是 一 个 结构 
体 ， 包 含 X、Y、zZ 三 个 数据 成 员 ， 用 以 存储 骨骼 点 的 三 维 坐 标 。 

UD TrackingState: JointTrackingState 类 型 也 是 一 种 榴 举 类 型 ， 表示 该 骨 骨 点 的 追踪 
状态 。 其 中 ，Trackeq 表 示 正 确 捕捉 到 该 骨骼 点 ，NotTracked 表 示 没 有 捕捉 到 骨骼 点 ， 
Inferred 表 示 状 态 不 确定 。 


5.2 半身 模式 


如 果 应 用 程序 只 需要 捕捉 上 半 时 的 姿势 动作 ， 就 可 以 采用 Kinect for Windows SDK 提 供 的 半 
屿 模式 ( Seated Mode )。 在 半生 模式 下 ， 系 统 只 捕捉 人 体 上 半身 10 个 骨骼 点 的 信息 ， 而 忽略 下 半 
吴 妇 外 10 个 骨骼 点 的 位 置信 息 ， 这 样 就 解决 了 用 户 坐 在 椅子 上 时 无 法 被 Kinect 识 别 的 问题 ， 即 使 
下 半生 骨骼 点 的 数据 不 稳定 或 是 不 存在 也 不 会 对 上 半生 的 骨骼 数据 造成 影响 。 而 且 当 用 户 距 离 
Kinect 设 备 只 有 0.4m 时 ， 应 用 程序 仍 能 正常 地 进行 骨骼 人 妃 踪 ， 这 就 大 幅 提 高 了 骨骼 追踪 的 性 能 。 

半 和 号 模式 定义 在 榴 举 类 型 skeletonTrackingMode 中 ,该 类 型 包含 两 个 榴 举 值 :， Default 和 
Seated。 前 者 为 默认 的 骨骼 奶 踩 模式 ， 会 正 稍 捕 换 20 个 骨骼 点 ; 后 者 为 半身 模式 ， 选 择 该 但 则 只 
捕捉 上 半 刁 的 10 个 骨骼 点 。 

开发 者 可 以 通过 改变 skeletonStream 对 象 的 TrackingMode 属 性 来 设置 骨骼 追踪 的 模式 ， 
代码 如 下 : 


kinectSensor.SkeletonStream.TrackingMode = SkeletonTrackingMode.Seated; 
5.3 ”骨骼 追踪 数据 的 获取 方式 


应 用 程序 获取 下 一 帧 骨骼 数据 的 方式 同 获取 彩色 图 像 和 深度 图 像 数 据 的 方式 一 样 , 都 是 通过 
调用 回调 因数 并 传递 一 个 缓存 实 现 的， 获取 上 骨骼 数据 调用 的 是 openSkeletonFrame () 图 数 。 如 
果 最 新 的 骨骼 数据 已 经 准备 好 了 ,那么 系统 就 会 将 其 复制 到 绥 存 中 ; 但 如 果 应 用 程序 发 出 请 求 时 ， 
新 的 骨骼 数据 还 未 准备 好 ， 此 时 可 以 选择 等 待 下 一 个 骨骼 数据 直至 其 准备 完毕 , 或 者 立即 返回 稍 
后 再 发 送 请 求 。 对 于 NUI 骨 骼 API 而 言 ， 相 同 的 骨骼 数据 只 会 提供 一 次 。 

NUI 骨 骼 API 提 供 了 两 种 应 用 模型 ， 分 别 是 轮 询 模型 和 时 间 模 型 ， 简 要 介绍 如 下 。 

口 轮 询 模 型 是 访 取 骨骼 事件 最 简单 的 方式 ， 通 过 调用 skeletonStream 类 的 OpenNextFrame () 

哨 数 即 可 实现 。OpenNextFrame () 网 数 的 声明 如 下 所 示 。 


public SkeletonFrame OpenNextFrame ( 


int millisecondsWait 


) 
可 以 传递 参数 指定 等 每 下 一 帧 骨骼 数据 的 时 间 。 当 新 的 数据 准备 好 或 是 超出 等 等 时 间 时 ， 


OpenNextFrame ( ) 函数 才 会 返回 。 
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5.4 ”实例 3 


口 时 间 模 型 以 事件 驱动 的 方式 获取 骨 锅 数据， 更 加 有 灵活、 准确。 应 用 程序 传递 一 个 事件 处 
理 困 数 给 skeletonErameReady 事 件 ， 该 事件 定义 在 KinectSensor 类 中 。 当下 一 帆 的 
骨髓 数据 准备 好 时 ,会 立即 调用 该 事件 回调 函数 。 因 此 Kinect 应 用 应 该 通过 调用 
OpenSkeletonFrame () 函数 来 实时 获取 骨骼 数据 。 


5.4 实例 3 调用 API 获取 骨骼 数据 并 实时 绘制 


本 实例 程序 将 实现 获取 肯 盘 数据 ,然后 将 骨骼 点 的 坐标 作为 Ellipse 控 件 的 20 个 位 置 坐 标 ， 同 
时 用 线段 将 相应 的 点 连接 起 来 ， 最 后 将 绘制 出 的 骨架 映射 到 彩色 图 像 上 。 读 者 可 以 在 实例 1 的 基 
础 上 开始 本 实例 ， 具 体操 作 步 又 如 下 所 示 。 

(1) 在 Windqow_Loadaeda() 图 数 中 添加 下 列 骨 骼 数据 流 的 局 动 国 数 ， 并 添加 kinectSensor_ 
SkeletonFtrameReady 事 件 处 理 果 数 相 应 的 SkeletonFrameReady 事 件 。 


kinectSensor.SkeletonStream.Enable(); 
kinectSensor.SkeletonFrameReady += new 
EventHandler<SkeletonFrameReadyEventArgs>(kinectSensor_ SkeletonFrameReady); 


(2) 准备 WPF 界 面 。 通 过 以 下 代码 在 界面 上 汪 加 20 个 小 圆 点 ， 分 别 跟 躁 由 Kinect for Windows 
SDK 获 取 到 的 人 体 的 20 个 关键 点 ， 并 将 这 20 个 点 标记 为 不 同 的 颜色 。 


<Canvas Name="SkeletonCanvas" Visibility="Visible"> 
<Ellipse Canvas.Left="0" Canvas.Top="0" Height="10" Name="headPoint" 
Width="10" Fill="Red" /> 
<Ellipse Canvas.Left="10" Canvas.Top="0" Height="10" 
Name="shouldercenterPoint" Width="10" Fill="Blue" /> 
<Ellipse Canvas.Left="20" Canvas.Top="0" Height="10" 
Name="shoulderrightPoint" Width="10" Fill="Orange" /> 
i 省 略 中 间 的 ELLipse 定 义 
<Image Canvas.Left="303" Canvas.Top="161" Height="150" Name="imagel'" 
Stretch="F1il11l" Width="200" /> 
</Canvas> 


此 时 ,设计 窗口 如 图 5-2 所 示 。 


图 5-2 ”WPF 设计 界面 
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(3) 编写 kinectSensor_SkeletonFrameReady () 事 件 处 理 函 数 。 正确 连接 Kinect 后 ， 当 用 
户 站 在 Kinect 前 并 且 Kinect 能 够 正确 识别 人 体 时 ， 将 触发 该 事件 处 理 函 数 ， 其 代码 如 下 : 
private void kinectSensor_ SkeletonFrameReady (object sender., 


SkeletonFrameReadyEventArgs e) 
{ 


using (SkeletonFrame skeletonFrame = e.OpenSkeletonFrame()) 
{ 
1if (skeletonFrame != null) 
{ 
skeletonData = new 


Skeleton[kinectSensor.SkeletonStream.FrameSkeletonArrayLength]; 
skeletonFrame.CopySkeletonDataTo (this.skeletonData); 
Skeleton skeleton = (from s in skeletonData 
where s.TrackingState == SkeletonTrackingState.Tracked 
select s) .FirstOrDefault (); 
if (skeleton!=null) 
{ 
SetAllPointPosition(skeleton),; 
} 


} 

上 述 代码 使 用 LINQ 语 句 来 获取 TrackingState 等 于 Trackedq 的 骨骼 数据 。 目 前 SDK 最 多 可 
以 追踪 两 幅 骨 骼 。 为 了 简化 起 见 ， 本 实例 只 对 捕捉 到 的 第 一 幅 骨 骼 进行 妃 踪 和 显示 。 

(4) 在 Skeleton 对 象 的 Joints 属 性 集合 中 保存 了 所 有 骨骼 点 的 信息 ， 每 个 骨骼 点 的 信息 都 
是 一 个 Joint 对 象 。 为 了 得 到 特定 的 骨骼 点 ， 同 样 使 用 LINQ 语 句 对 Joint 的 JointType 属 性 进 
行 沛 选 ， 相 关 代 人 码 如 下 : 


Joint headJoint = (from ] in skeleton.Joints 
where J.JointType == JointType.Head 
select JjJ) .FirstOrDefault (); 


在 本 实例 程序 中 , 需要 遍历 每 个 骨骼 点 ， 并 分 别 对 其 进行 处 理 。 这 里 使 用 foreach 语 人 句 来 实 
现 , 并 根据 JointType 属 性 进行 处 理 。 在 setAl1PointPosition() 国 数 中 可 以 看 到 具体 的 实现 
细节 。 


foreach (Joint joint in skeleton.Joints) 


{ 


Point jointPoint = GetDisplayPosition(joint).; 
switch (joint.JointType) 
{ 

Case JointType.Head: 
SetPointPosition(headPoint, JjJoint); 
headPolyline.Points.Add(jointPoint).; 
break; 
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(5) 前 面 提 到 ，Joint 的 Position 属 性 的 x、Y、z 表 示 该 骨骼 点 的 三 维 位 置 ， 其 中 x 和 Y 的 范 
用 都 是 -1 ~ 1， 而 Z 是 Kinect 到 识别 物体 的 距离 。 
为 了 能 更 好 地 将 这 20 个 点 显示 出 来 , 需要 对 Position 的 X 值 和 Y 值 进行 缩放 , 可 以 通过 以 下 
咀 数 实现 。 


private Point GetDisplayPosition(Joint Joint) 


{ 


var scaledJoint = JjJoint.ScaleTo(640, 480); 
return new Point (scaledJoint.Position.X, scaledJoint.Position.Y): 


} 

上 面 语句 中 ,ScaleTo 孙 数 的 最 后 两 个 参数 640 和 480 分 别 代 表 原 始 数 据 Xx 和 Y 的 最 大 值 , 通过 
该 语句 可 以 将 x 坐标 放大 到 0 ~ 640 范 围 内 的 任意 值 ， 将 ?坐标 放大 到 0 ~ 480 范 围 内 的 任意 值 。 该 坐 
标 是 相对 于 应 用 程序 窗口 的 左上 角 (0.,0) 而 言 的 ,窗口 的 宽 和 高 分 别 是 640 和 480， 以 保证 彩色 图 像 
和 骨骼 绘制 的 结 采 相 匹 配 。 

其 中 ，scaleTo () 图 数 是 coaing4Fun 的 Help 类 中 的 方法 。codaing4Fun 是 一 个 Kinect 开 发 
辅助 类 库 ， 本 书 将 在 第 8 半 中 对 其 进行 详细 的 介绍 。 读 者 可 以 从 http://c4fkinect.codeplex.com/ 下 载 
该 类 库 ， 并 通过 “Add Reference” 荣 单项 将 Coding4Fun.Kinect,Wpfdl 添 加 到 项 目 中 。 

(6) 编写 一 个 函数 ， 将 每 个 骨髓 点 转换 后 的 (x, y ) 坐标 值 分 别 映射 到 相应 的 Ellipse 探 件 的 
Left 和 Top 属 性 上 ， 其 代码 如 下 : 


private void SetPointPosition (FrameworkElement ellipse, Joint joint) 


{ 


var scaledJoint = JjJoint.ScaleTo(640, 480); 
Canvas.SetLeft (ellipse, scaledJoint.Position.XxX); 
Canvas.SetTop(ellipse, scaledJoint.Position.Y).; 
SkeletonCanvas.Children.Add (ellipse); 


} 
使 用 Poly1line 类 表示 骨架 线 ， 显而易见 ,骨架 由 5 条 多 上 段 线 组 成 , 分 别 定 义 它 们 ， 并 在 遍历 
所 有 上 骨骼 点 时 分 类 存储 相应 的 点 。 详 见 SetAllPointPosition() 也 数 ， 相 关 代 码 如 下 : 


Polylin 


e headPolyline = new Polyline(); 
e handleftPolyline = new Polyline 
Polyline handrightPolyline = new Polylin 

line 

人 


Polylin 


footleftPolyline = new Polyline(); 
footrightPolyline = new Polyline(),; 


D 一 由 一 
一 一 


private void SetAllPointPosition(Skeleton skeleton) 

{ 
SkeletonCanvas.Children.Clear(); 
headPolyline.Points.Clear(); 
handleftPolyline.Points.Clear 
handrightPolyline.Points.Clea 
footleftPolyline.Points.Clear 
footrightPolyline.Points.Clea 


/ 
) 。 
/ 


攻 
一 一 


/ 
) 。 
/ 


foreach (Joint JjJoint in skeleton.Joints) 


{ 
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Point jointPoint = GetDisplayPosition(joint).; 
switch (joint.JointType) 
{ 
case JointType.Head: 
SetPointPosition (headPoint, joint).; 
headPolyline.Points.Add(jointPoint).;} 
break; 


case JointType.ShoulderCenter: 
SetPointPosition(shouldercenterPoint, joint); 
headPolyline.Points.Add(jointPoint).; 
handleftPolyline.Points.Add(JointPoint).; 
handrightPolyline.Points.Add (jointPoint).; 
break; 


case JointType.ShoulderLeft: 
SetPointPosition(shoulderleftPoint, joint).; 
handleftPolyline.Points.Add(JointPoint); 
break; 


Case JointType.FootRight: 
SetPointPosition(footrightPoint, joint); 
footrightPolyline.Points.Add(jointPoint).; 
break; 


default: 


break; 


} 

headPolyline.Stroke = new SolidColorBrush (Colors.Blue); 
headPolyline.StrokeThickness = 5; 
SkeletonCanvas.Children.Add (headPolyline);} 


handleftPolyline.Stroke = new SolidColorBrush (Colors.Blue); 
handleftPolyline.StrokeThickness = 5; 
SkeletonCanvas.Children.Add (handleftPolyline); 


handrightPolyline.Stroke = new SolidColorBrush (Colors.Blue); 
handrightPolyline.StrokeThickness = 5; 
SkeletonCanvas.Children.Add (handrightPolyline),; 


footleftPolyline.Stroke = new SolidColorBrush (Colors.Blue); 
footleftPolyline.StrokeThickness = 5; 
SkeletonCanvas.Children.Add (footleftPolyline); 


footrightPolyline.Stroke = new SolidColorBrush (Colors.Blue); 
footrightPolyline.StrokeThickness = 5; 
SkeletonCanvas.Children.Add (footrightPolyline); 


} 
(7) 运行 程序 ， 显 示 结 果 如 图 5-3 所 示 。 
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5.4 ”实例 3 


四 
Vor EE 
fe taggin op 


图 5-3 ”全 里 骨骼 点 运行 结 


(8) 奇 要 使 用 半身 模式 ， 只 需 在 初始 化 kinectsensor 对 象 时 添加 以 下 语句 即 可 。 
kinectSensor.SkeletonStream.TrackingMode = SkeletonTrackingMode.Seated.; 


运行 结 末 如 图 5-4 所 示 。 


图 5-4 ”半生 模 式 运 行 结 


由 于 RGB 图 像 数 据 与 深度 图 像 数 据 ( 骨骼 数据 ) 的 空间 坐标 系 是 不 同 的 , 前 者 的 原点 是 RGB 
摄像 头 , 后 者 的 原点 是 红外 摄像 头 , 因此 本 实例 中 使 用 获取 的 骨骼 点 坐标 直接 绘制 在 RGB 图 像 上 
会 有 相应 的 误差 。 厂 要 修正 这 些 误差 ， 可 以 调用 Kinect for Windows SDK 提 供 的 映射 晒 数 ， 将 骨 
骼 点 坐标 映射 到 RGB 图 像 坐标 上 。 有 具体 做 法 为 将 上 面 用 的 Scalero 图 数 蔡 换 为 
MapSkeletonPointToColorPoint， 使 用 方法 如 下 所 示 : 


ColorIimagePoint colorimagePoint = kinectSensor.CoordinateMapper.MapSkeletonPointTo 
ColorPoint (Joint.Position, ColorlimageFormat.RgbResolution640x480Fps30); 
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5.5 ”骨骼 后 旋转 信息 


除了 跟 踊 骨骼 点 的 位 置 ，Kinect SDK 还 能 计算 出 骨骼 点 的 旋转 信息 。 这 是 Kinect SDK 1.5 版 
本 新 增 的 功能 ， 利 用 此 功能 可 以 计算 出 人 体 骨 骼 在 yaw 轴 的 旋转 情况 ， 在 此 之 前 ， 仪 通过 骨骼 点 
位 置 是 无 法 实现 此 类 计算 的 。 根据 相对 参照 系 不 同 , 旋转 信息 可 以 分 为 相对 旋转 信息 和 绝对 旋转 
信息 , 这 两 种 信息 均 包 含 了 其 旋转 的 矩阵 参数 和 四 元 数 参 数 。 开 发 者 可 以 使 用 这 些 数据 方便 地 进 
行动 作 识别 以 及 控制 人 形 3D 模 型 。 


5.5.1 骨 骼 点 旋转 信息 存储 方式 


在 Kinect SDK 中 ,骨骼 点 旋转 信息 定义 为 Boneorientation 类 ， 包含 以 下 数据 成 员 。 

口 startJoint: 起 始 骨 骼 点 ; 

口 EndJoint: 结束 骨骼 点 ; 

D HierarchicalRotation: 相对 旋转 信息 ; 

口 AbsoluteRotation: 绝对 旋转 信息 。 

在 学 习 相 对 旋转 信息 和 绝对 旋转 信息 的 具体 含义 之 前 ， 我 们 首先 要 定义 骨骼 点 坐标 系 。 对 
Kinect 跟 踪 到 的 20 个 骨骼 点 进行 分 层 : 将 “ 赐 部 中 心 ”作为 初始 骨骼 点 ， 相 邻 的 骨骼 点 逐 层 加 下 
延伸 ， 如 图 $-$ 所 示 。 


宽 部 中心 


内 柱 左 骸 丰 髋 


局 部 中 心 左 膝 六 右 膝 盖 


王 宁 


图 5-5 ”骨骼 点 分 层 图 


而 骨骼 点 坐标 系 即 为 以 该 骨骼 点 为 原点 ， 以 其 上 层 骨 能 点 到 它 的 直线 方 癌 为 y 轴 正方 同 的 坐 
标 系 ， 如 图 5-6 所 示 。 
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Xx 轴 


图 5-6 ”相对 旋转 信息 
其 中 ,相对 旋转 信息 就 代表 了 一 段 骨 散 中 , 起 始 骨 骼 点 和 结束 骨骼 点 的 两 个 坐标 系 之 间 的 转 
移 参 数 。 相 应 地 ， 绝 对 旋转 信息 代表 了 结束 骨骼 点 坐标 系 和 Kinect 空 间 坐 标 系 之 间 的 转移 参数 ， 
如 图 5-7 所 示 。 


图 5-7 绝对 旋转 信息 


34 第 5 章 Kinect 骨骼 追踪 数据 的 处 理 方法 


5.5.2 ”在 骨骼 数据 回调 函数 中 获取 骨骼 点 旋转 信息 


由 于 骨骼 点 旋转 信息 包含 在 骨骼 数据 流 中 , 因此 需要 在 骨骼 数据 的 回调 孔 数 中 获取 相应 的 数 
据 区 在 获取 了 一 帧 sSkel etonFrame 中 的 SkeletonData 之 后 » 同 以 使 用 下 列 代 码 读 取 上 骨骼 点 旗 
转 信息 : 


foreach (Skeleton skeleton in this.skeletonData) 


{ 


if (skeleton.TrackingState == SkeletonTrackingState.Tracked) 

{ 
foreach (BoneOrientation orientation in skeleton.BoneOrientations) 
{ 


BoneRotation hierarchical = orientation.HierarchicalRotation; 


BoneRotation absolute = orientation.AbsoluteRotation; 


} 
) 


可 以 看 出 ， 读 取 骨 骼 点 旋转 信息 的 方法 和 读 取 骨骼 数据 类 似 ， 其 中 BoneRotation 类 型 的 数 
据 记 录 了 旋转 信息 的 矩阵 和 四 元 数 。 


5.5.3 ”综述 


里 然 骨 骼 点 旋转 信息 仅仅 是 依 徘 骨 骼 数据 计算 出 来 的 ,但 是 利用 这 一 数据 可 以 极其 位 便 地 完 
成 人 体 姿态 和 动作 的 识别 以 及 三 维 模型 控制 。 不 过 需要 注意 的 是 , 这 里 得 到 的 旋转 信息 是 由 骨 旷 
数据 计算 而 来 的 原始 数据 ， 由 于 骨 筋 跟 踩 数 据 本 号 的 拌 动 原因 ， 旋 转 信 息 也 会 产生 很 大 的 只 声 。 
因此 ， 必 须要 多 对 其 进行 一 定 程 度 的 降 品 和平 请 处 理 ， 才 能 在 应 用 程序 中 使 用 。 


5.6 实例 4 一 一 使 用 Kinect 控制 PPT 播放 


目前 控制 PPT 切 换 的 传统 方式 是 使 用 鼠标 、 键 盘 或 者 手持 遥控 笔 ， 通 过 按键 实现 约 灯 所 的 换 
页 。 然 而 结合 Kinect 的 体感 交互 技术 ， 我 们 只 需 一 个 手势 就 可 以 完成 PPT 的 换 页 ， 这 是 不 是 很 炫 
呢 ? 其 实 这 个 功能 实现 起 来 一 点 都 不 难 ， 本 实例 将 使 用 前 面 介绍 的 骨骼 数据 来 实现 手势 控制 PPT 
播放 的 简单 功能 。 

控制 PPT 翻 页 的 手势 可 以 定义 为 右手 向 右 挥动 , PPT 播 放下 一 页 ; 左手 向 左 挥动 , PPT 播 放 上 
一 页 。 当 然 ， 在 实现 过 程 中 还 要 考虑 手势 的 歧义 性 ， 因 为 演讲 者 在 演讲 时 常常 会 加 入 一 些 手 势 ， 
要 尽量 避免 设计 的 控制 手势 产生 攻 义 ， 引 发 误 操 作 。 

该 实现 过 程 的 前 儿 步 与 剖面 章 市 的 实例 类 似 ， 这 里 仅 作 简单 的 介绍 。 

(1) 新 建 一 个 WPF 工 程 , 命名 为 KinectPowerPointControl。 与 前 面 的 实例 程序 一 样 , 添加 Kinect 
程序 集 。 

(2) 添加 Windqow Loadqed() 和 Winadqow Closedf() 图 数 。 在 Windqow_ Loadqed() 困 数 中 声明 
KinectSsensor 对 象 并 对 其 进行 初始 化 设置 , 在 Windqow_ Closed 困 数 中 关闭 Kinect 人 设备， 相关 代 
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人 码 如 下 : 
private void Window_ Loaded(object sender, RoutedEventArgs e) 
{ 
kinectSensor = (from sensor in KinectSensor.KinectSensors 
where sensor.Status == KinectStatus.Connected 


select sensor) .FirstOrDefault(); 
kinectSensor.ColorStream.Enable (ColorlimageFormat.RgbResolution640x480Fps30); 
kinectSensor.SkeletonStream.Enable(); 


kinectSensor.Sstart (); 
kinectSensor.ColorFrameReady += kinectSensor ColorFrameReady; 
kinectSensor.SkeletonFrameReady += new EventHandler 
<SkeletonFrameReadyEventArgs> (kinectSensor_ SkeletonFrameReady ); 
} 
private void Window_ Closed(object sender, EventArgs e) 
{ 
kinectSensor.Stop().; 


} 

本 实例 用 到 了 视频 数据 和 骨骼 追踪 数据 ,其 中 骨 侣 追踪 数据 用 来 对 演讲 者 进行 姿势 捕捉， 而 
视频 数据 只 是 用 来 辅助 测试 姿势 识别 的 结果 。 

(3) 界面 准备 。 在 MainWindow.xaml 文 件 的 设计 需 中 添加 一 个 Image 控件 来 显示 视频 信息 ， 再 
添加 3 个 Ellipse 控 件 来 显示 头 部 、 左 手 和 右手 3 个 点 的 位 置 ， 具 体 代 码 如 下 : 


<Grid> 
<Image Name="Colorlimage" 
Width="640" 
Height="480"></Image> 
<Canvas Background="Transparent" Name="SkeletonCanvas"> 

<Ellipse Fill="Red" 
Height="20" 
WigQths "20" 
Name="ellipseLeftHand" 
Stroke="White" /> 

<Ellipse Fill="Red" 
Height="20" 
Width="20" 
Name="ellipseRightHand" 
Stroke="White" /> 

<Ellipse Fill="Red" 
Height="20" 
Width="20" 
Name="ellipseHead" 
Stroke="White" /> 


</Canvas> 
</Grid> 


(4) 添加 kinectSensor_ColorFrameReady () 捉 件 处 理 汕 数 ， 用 以 显示 Kinect 捕 提 的 视频 


private void kinectSensor ColorFrameReady (object sender., 
ColorImageFrameReadyEventArgs e) 
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USing (CoLlorImadeFrame imageFrame = e.OpenColorIimageFrame()) 
{ 
if (imageFrame != null) 
{ 
this.pixelData = new bytel[limageFrame.PixelDataLength]; 
limageFrame.CopyPixelDatalTo (this.pixelData);} 
this.ColorIimage.Source = 
BitmapSource.Create(imageFrame.Width, imageFrame.Height, 96, 96, 
PixelFormats.Bgr32, null, pixelData, 
limageFrame.Width * imageFrame.BytesPerpPpixel),; 


} 

(5) 添加 kinectSensor_SkeletonFrameReadgy () 事件 处 理光 数 ， 此 函数 获取 骨骼 数据 的 
过 程 与 实例 3 的 相关 也 数 类 似 ， 这 里 束 不 再 次 述 了 。 当 正确 捕捉 到 有 效 的 骨骼 数据 后 ， 调 用 
ProcessGesture() 子 数 进 行 手势 的 识别 和 判定 ， 相 关 代 码 如 下 : 


private void kinectSensor_ SkeletonFrameReady (object sender., 
SkeletonFrameReadyEventArgs e) 


using (SkeletonFrame skeletonFrame = e.OpenSkeletonFrame()) 
{ 
1if (skeletonFrame != null) 
{ 
skeletonData = 
new Skeleton[kinectSensor.SkeletonStream.FrameSkeletonArrayLength]; 
skeletonFrame.CopySkeletonDataTo (this.skeletonData); 
Skeleton skeleton = (from s in skeletonData 
where s.TrackingState == SkeletonTrackingState.Tracked 
select s) .FirstOrDefault (); 
if (skeleton!=null) 
{ 


SkeletonCanvas.Visibility = Visibility.Visible; 
ProcessGesture (skeleton); 


} 


~ 


(6) ProcessGesture() 清 数 负 责 识 别 演讲 者 右手 问 右 挥动 和 左手 癌 左 挥动 的 手势 ， 并 触发 
约 灯 卢 的 翻 页 操作 。 识 别 该 手势 用 到 了 3 个 骨骼 点 ， 分 别 是 头 部 节点 、 左 手 节 点 和 右手 节点 。 该 
国 数 的 代码 如 下 : 


private void ProcessGesture(Skeleton SI) 


{ 


Joint leftHand = (from ] in s.Joints 
where J.JointType == JointType.HandLeft 
select JjJ) .FirstOrDefault(); 
Joint rightHand = (from ] in s.Joints 
where J.JointType == JointType.HandRight 


select ]) .FirstOrDefault(); 
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Joint head = (from ] in s.Joints 
where J.JointType == JointType.Head 
select JjJ) .FirstOrDefault(); 


if (rightHand.Position.X > head.Position.X + 0.45) 
{ 


if (!ijsBackGestureActive && !isForwardGestureActive) 


{ 
lsForwardGestureActive = true; 
System.Windows.Forms.SendKeys.SendWait("{Right}"); 


} 


else 


| 


isSForwardGestureActive = false; 


if (leftHand.Position.X < head.Position.X - 0.45) 


if (!ijsBackGestureActive && !isForwardGestureActive) 


lisBackGestureActive = true; 
System.Windows.Forms.SendKeys.SendWait ("{Left}"); 


} 


else 


{ 
lsBackGestureActive = false; 

上 

// 将 头 和 左 、 右 手 的 骨骼 点 与 界面 上 对 应 的 原点 相关 联 

SetEllipsePosition(ellipseHead, head, false); 

SetEllipsePosition(ellipseLeftHand, leftHand, isBackGestureActive); 

SetEllipsePosition(ellipseRightHand, rightHand, isForwardGestureActive); 
} 


先 使 用 LINQ 语 句 将 这 3 个 点 从 Skeleton 集 合 中 提取 出 来 , 然后 利用 这 3 个 点 的 相对 坐标 信息 
判定 演讲 者 此 时 的 手势 。 

右 右 手 市 点 的 x 坐标 值 比 尖 部 市 点 的 x 坐标 值 大 0.45， 则 判定 为 右手 问 右 挥动 ， 此 时 
System.Windows .Forms .SendKeys .SendWa 让 图 数 发 送 单 击 右 箭头 的 操作 ， 从 而 实现 幻灯 乒 
问 下 翻 页 ; 同 理 ， 帮 左手 节点 的 x 坐标 值 比 尖 部 市 点 的 x 坐标 值 小 0.45， 则 判定 为 左手 同 左 挥动 ， 
从 而 触发 左 稍 头 的 按键 操作 ， 约 灯 所 了 驶 会 加 上 翻 页 。 

定义 jsForwardGestureActive 和 isBackGestureActive 两 个 全 局 变量 来 辅助 标定 两 个 
手势 判定 的 开关 。 

(7) 上 面 用 到 的 SetEBllipsePosition() 国 数 ， 主 要 负责 将 捕捉 到 的 头 和 左 、 右 手 的 点 的 位 
置 赋值 给 3 个 Ellipse 控 件 ， 其 定义 如 下 : 


private void SetEllipsePosition(Ellipse ellipse, Joint JjJoint, bool isHighlighted) 
0 


ColorImagePoint colorimagePoint = kinectSensor.CoordinateMapper. 
MapSkeletonPointToColorPoint (joint.Position, ColorIimageFormat. 
RgbResolution640x480Fps30); 
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If (isHighlighted) 
{ 
ellipse.Width = 60; 
ellipse.Height = 60; 
ellipse.Fill = Brushes.Red; 
} 
else 
{ 
ellipse.Width = 20; 
ellipse.Height = 20; 
ellipse.Fill = Brushes.Blue; 
} 
Canvas.SetLeft (ellipse, colorlImagePoint.X - ellipse.ActualWidth / 2); 
Canvas.SetTop(ellipse, colorIimagePoint.Y - ellipse.ActualHeight / 2); 


} 

该 因数 的 第 3 个 参数 isHighlightedq 表 示 手 势 的 位 置 , 当 右 手 回 右 挥动 或 左手 向 左 挥动 的 时 
候 ， 对 应 于 右手 或 左手 的 圆 点 会 变 大 ， 颜 色 由 蓝 色 变 为 红色 。 

连接 Kinect， 运 行 实例 程序 。 站 在 Kinect 前 方 ， 可 以 在 程序 界面 中 看 到 标定 头 部 、 左 手 和 丰 
手 的 圆 点 。 右 手 问 右 挥动 ， 对 应 的 圆 点 会 变 大 ,颜色 由 蓝 色 变 为 红色 ; 左手 回 左 挥动 ， 对 应 的 圆 
点 也 会 变 大 ， 颜 色 由 蓝 色 变 为 红色 。 打 开 PPT 并 放映 ， 站 在 Kinect 前 方 ， 右 手 回 右 挥 动 ， 约 灯 搬 
会 播放 下 一 页 ; 左手 问 左 挥动 ,幻灯 片 会 播放 上 一 页 。 这 样 ， 无 需 借 助 女 标 和 键盘 即 可 实现 幻灯 
片 的 切换 操作 。 


5.7 ”小结 


本 章 主 要 介绍 了 骨骼 追踪 数据 的 结构 ， 并 结合 实例 3 讲解 了 骨骼 数据 的 获取 和 处 理 方式 ， 实 
例 4 通 过 Kinect 实 现 了 对 PPT 播 放 的 控制 , 这 能 够 带 助 该 者 更 形象 地 理解 如 何 利用 骨骼 追踪 数据 实 
现 体 感应 用 程序 。 男 外 ， 本 章 所 介绍 的 半身 模式 和 骨骼 点 旋转 信息 是 Kinect 最 新 版 的 SDK 中 新 增 
的 特性 , 半 喘 模式 支持 只 需 上 体 姿 势 控 制 的 应 用 ; 骨骼 点 旋转 信息 的 加 入 有 效 地 提高 了 特定 姿势 
识别 的 准确 度 ， 这 使 得 应 用 都 更 具 丰 实感 。 


音频 API 的 使 用 


语 首 识 别 的 任务 就 是 使 用 计算 机 程序 将 语音 转换 成 一 串 词语 。 语 言 是 人 类 最 常用 的 沟通 形 
式 ， 而 语 首 识别 的 终极 目标 就 是 能 让 人 机 之 间 更 加 自然 、 有 效 地 进行 交互 。50 年 来 , 快速 而 准确 
的 语音 识别 一 直 是 计算 机 科学 发 展 的 目标 之 一 。 早 期 的 技术 试图 对 人 类 大 脑 理解 声音 和 语言 的 方 
式 进行 建 模 ， 并 尝试 将 这 种 模型 植 入 语音 识别 器 。 但 是 这 种 方法 以 失败 告终 ,这 主要 是 因为 人 类 
大 脑 对 语音 的 理解 方式 至 今 仍 有 大 部 分 是 未 知 的 ， 并 且 计 算 机 的 处 理 能 力 十 分 局 限 。 然 而 目前 ， 
随 肴 计算 机 处 理 能 力 的 巨大 改进 以 及 庞大 的 声音 采样 字典 , 声音 识别 技术 已 经 可 以 在 普通 电脑 上 
达到 相当 准确 和 稳定 的 效果 。 

本 草 主 要 介绍 了 Kinect 语 音 识别 的 相关 结构 和 功能 ， 并 结合 两 个 实例 程序 讲解 了 如 何 通过 调 
用 Kinect for Windows SDK 提 供 的 语音 API 来 实现 相应 的 功能 。 


6.1 关于 Kinect 麦克 风 阵 列 


前 面 的 章节 在 介绍 Kinect 的 结构 时 ， 曾 提 到 过 Kinect 传 感 锅 下 方 的 四 元 麦克 风 阵 列 ， 它 提供 
了 语音 识别 功能 的 文 持 。 与 单独 的 麦 殉 风 相 比 ， 四 元 麦克 风 阵 列 在 性 能 上 具备 以 下 显 和 车 优势 。 
口 提高 音频 质量 。 相 对 于 单独 的 麦克 风 ， 麦 克 风 阵列 文 持 更 加 精细 、 高 效 的 噪音 抑制 和 目 
动 回声 消除 算法 。 
口 波束 成 型 和 音频 源 定位 。 利 用 来 自 特定 音频 源 的 声音 到 达 阵 列 中 每 个 麦克 风 的 微小 时 间 
差 ， 结 合 波 束 成 型 技术 ， 应 用 程序 就 可 以 确定 音频 源 的 方向 ， 并 且 使 用 麦克 风 阵 列 作为 


可 控 的 定向 传 声 硕 。 
凭借 麦克 风 阵 列 优越 的 性 能 ， 再 结合 Kinect for Windows SDK， 我 们 就 可 以 开发 出 具有 以 下 
功能 的 应 用 程序 : 


口 高 质量 音频 的 捕获 ; 

口 波束 成 型 和 音频 源 定位 ; 

口 语 首 识别 。 

其 中 语音 识别 是 NUI 的 一 个 关键 因素 ， 在 Windows 上 由 Microsoft Speech 平 台 支 持 。Kinect for 
Windows SDK 为 托管 的 应 用 程序 结合 Microsoft Speech API 使 用 Kinect 麦 克 组 提供 了 必需 的 基础 以 
构 , 该 架构 支持 最 新 的 语音 算法 。 该 SDK 还 包括 一 个 专门 为 Kinect 传 感 器 的 麦克 组 定制 的 语音 异型。 
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此 外 ，Kinect for Windows SDK 还 提供 了 用 于 捕捉 和 控制 首 频 的 托管 API。 该 API 主 要 是 在 
Kinect Audio DMO 上 的 一 个 封 竣 ， 与 其 文 持 同 样 的 功能 ， 但 是 用 起 来 会 更 加 简单。 托管 API 人 允许 
应 用 程序 配置 DMO，,， 并且 执行 启动 、 捕 获 和 终止 首 频 流 的 操作 。 托 管 API 还 包括 问 应 用 程序 提供 
音频 源 和 波束 方 和 呵 的 事件 消 数 。 


6.2 ”实例 5 一 一 记录 一 段 音频 流 ， 井 监视 音频 源 方 回 


本 实例 是 一 个 C# 控 制 台 的 应 用 程序 ,主要 演示 了 如 何 从 Kinect 传 感 硕 的 麦 殉 风 阵列 捕获 一 段 
音频 流 ， 并 监控 音频 源 的 方向 。 其 基本 流程 如 下 : 

(1) 创建 一 个 对 象 ， 用 以 表示 Kinect 传 感 器 的 麦克 风 阵 列 ; 

(2) 捕获 音频 流 ， 并 将 其 写 入 一 个 文件 ; 

(3) 监控 音频 源 的 方 问 。 

下 面 详细 介绍 该 应 用 程序 的 实现 过 程 ， 具 体 步骤 如 下 。 

(1) 新 建 一 个 C# 控 制 台 应 用 项 目 ， 合 名 为 “KinectRecordAudio”， 如 图 6-1 所 示 。 


New Project 


Recent Templates |.NET Framework 4 下 | Sort by: | Default 泪 | Search Installed Templates D | 
Installed Templates T Visual C# 
3 Windows FormsApplication Visual C# Be 
4 Visual C# 1 A project for creating a command-line 
Windows = application 
Web | Gf WPF Application Visual C# 
Office 
Cloud Bn Console Application Visual C# 
Reporting em 
SharePoint EF cf| Class Library Visual C# 
Silverlight 
Test mm cH WPF Browser Application Visual C# 
WCF 
Workflow c# | Empty Project Visual C# 
XNA Game Studio 4.0 
Che Ln of| Windows Service Visual C# 
Other Project Types 
Database # 、 , 
Modeling Projects Cd WPF Custom Control Library Visual C# 
Test Projects 
be | WPF User Control Library Visual C# 
Online Templates 一 
=cf| Windows Forms Control Library Visual C# 
Name: KinectRecordAudio 
Location: c\users\v-blN\documents\visual studio 2010\Projects 到 Browse,,， | 
Solution name: KinectRecordAudio y Create directory for solution 


Add to source control 


图 6-1 新 建 控制 台 应 用 程序 
(2) 与 前 面 的 实例 一 样 ， 首先 添加 Kinect 库 ， 并 在 应 用 程序 中 引入 Microsoft 。 Kinect 命 名 
空间 ; 然后 创建 kinectSensor 对 象 ， 将 连接 到 电脑 的 Kinect 设 备 赋值 给 该 对 象 ; 接着 调用 start 
哨 数 启动 Kinect 设 备 。 相 关 代码 如 下 : 


~ 一 局 、 伺 -2 大 ~ 局 > sn 
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static void Main(string[] args) 
{ 
KinectSensor kinectSensor = (from k in KinectSensor.KinectSensors 
where k.Status == KinectStatus.Connected 


select k) .FirstOrDefault(); 
if (kinectSensor == null) 
{ 
Console.WriteLine("No Kinect Connected!\n"+ 
"Press any Key to continue.\n");} 
Console.ReadKey (true); 
reCUrLm;, 


try 


kinectSensor.Sstart (); 
} 
catch (Exception e) 
{ 
Console.WriteLine(e.ToString() + "\npress any key to continue.\n"); 
Console.ReadKey (true); 
return; 


} 

const int voiceRecordingTime = 20; 

Const jint voiceRecordingLength = voiceRecordingTime * 2 * 16000; 
Const string outputFileName = "voliceRecord.wav'"; 

Var voiceBuffer = new byte[4096]; 


上 上 述 代码 中 ，4 个 控制 音频 处 理 的 稼 量 含义 如 下 所 示 。 

口 voiceRecordTime， 记 录 时 间 设 置 为 20 秒 ; 

口 voiceRecordingLength， 表 示 记 录 长 度 ， 以 字 市 为 单位 ， 其 值 为 记录 时 间 x 采 样 大 小 
(2 字 市 ) x 每 个 采样 的 比特 数 ( 16000 )。 

口 outputFileName， 写 人 音频 数据 的 文件 名 ， 程 序 执行 完毕 后 ， 该 音频 文件 保存 在 工程 
目录 的 Debug 文 件 夹 下 。 

D voiceBuffer， 该 写 音 频 流 的 绥 冲 数组 ， 大 小 为 4096B ; 

(3) 接 下 来 , 在 Main 函 数 里 创建 并 配置 一 个 Kinect 音 频 源 对 象 , 以 获取 Kinect 设 备 捕 获 到 的 音 

频 源 ， 相 关 代 码 如 下 : 
KinectAudioSource audioSource = kinectSensor.AudioSource:; 


audioSource.AutomaticGainControlEnabled = false; 
Thread.CurrentThread.Priority = ThreadPpriority.Highest; 


audioSource.BeamAngleChanged +=new 
EventHandler<BeamAngleChangedEventArgs>(audioSource BeamAngleChanged).; 


创建 一 个 KinectAudioSource 类 型 的 对 象 audioSource， 用 来 表示 Kinect 传 感 硕 的 声音 信 
息 。KinectSensor 鸭 KinectAudioSource 类 型 的 AudioSource 成 员 保 存 了 获取 到 的 音频 流 ， 
直接 将 它 赋值 给 audioSource。 
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audioSource 的 AutomaticCGainControlEnabled 属 性 决定 了 Kinect Audio DMO 是 否 执 行 
自动 增益 控制 ， 本 实例 设置 为 false， 其 他 属性 值 均 使 用 默认 值 。 

实例 程序 还 通过 设置 Thread .CurrentThread. priorityWThreadpriority .Highest, 
将 本 程序 的 优先 级 设置 为 最 局 ， 这 样 能 有 效 地 避免 丢失 采样 。 

最 后 订阅 KinectaAudiosource 的 BeamaAnglechanged 事 件 处 理 晒 数 。 当 波 束 角 方向 改变 
时 ， 应 用 程序 便 会 触发 相应 的 事件 处 理 函 数 。 

(4) 记录 音频 流 。Recordqaudaio 开 局 音频 流 ， 记 录 20 秒 ， 并 将 记录 的 音频 流 写 人 一 个 .wav 文 
件 ， 相 关 代 码 如 下 : 


static void Main(string[] args) 


using (var fileStream = new FileStream(outputFileName, FileMode.Create)) 
{ 


WriteWavHeader (fileStream, voiceRecordingLength).; 


Console.WriteLine ("Recording for {0} seconds...", volceRecordingTime).;} 
using (var audioStream = audioSource.Start()) 
{ 

int count = 0; 


int totalCount = 0; 


while (totalCount < voiceRecordingLength && (count = 
audioStream.Read (voiceBuffer , 0, voiceBuffer .Length)) > 0) 
{ 
fileStream.Write(voiceBuffer , 0, count).; 
totalCount += Count; 


if (audioSource.SoundSourceAngleConfidence > 0.85) 
Console.Write("Sound source position (radians):{0}\t\tBeam: {1}\r", 
audioSource.SoundSourceAngle, audioSource.BeamAngle),; 


} 

在 开始 记录 之 前 ， 先 创建 一 个 Filestream 对 象 来 表示 输出 文件 ， 并 且 调 用 私有 方法 
writeWavHeader 写 入 文件 的 Wav 头 。WritewavHeader 方 法 的 具体 内 容 请 参 阅 本 书 附 市 的 源 代码 时 

接着 调用 KinectaAudqiosource.Sstart 图 数 开 局 音频 流 ， 并 返回 关联 的 Stream 对 象 。 音 频 
流 的 记录 操作 在 while 循 环 中 进行 ， 先 调用 stream.Read 也 数 将 音频 流 读 取 到 缓存 中 ， 然 后 调用 
FileStream. Write 也 数 将 缓存 写 和 人 到 输出 文件 中 o KinectAudioSource 类 的 soundSource- 
AngleConfigdence 属 性 表示 首 频 源 位 置 估计 的 置信 和 度 ， 如 果 和 置信 和 度 的 值 大 于 0.85， 和 循环 中 就 会 
打印 出 普 频 源 和 波束 的 方向 。 当 记录 的 缓存 数量 到 达 指 定 的 记录 长 度 ， 循 环 则 会 终止 。 

(5) 监视 波束 方向 的 变化 。 当 Kinectaudiosource 的 Beamangle 属 性 发 生变 化 时 会 触发 
BeamChanged 事 件 在 它 的 事件 处 理 了 滑 数 audioSourc e_ BeamAngl echanged 中 打印 出 新 的 波 
束 方 向。 相关 程序 代码 如 下 : 


private static void audioSource BeamAngleChanged (object sender., 


RE 
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BeamAngleChangedEventArgs e) 
{ 


Console.WriteLine("Beam Angle Changed:{0}", e.Angle).; 


} 


BeamAngleChangedEventArgs 对 象 e 的 Angle 属 性 表示 当前 的 波束 角度 ， 单位 为 弧度 。 从 
用 户 面 对 Kinect 传 感 融 的 透视 方 问 来 看 ， 该 角度 的 说 明 如 下 : 

D 0 表示 波束 径直 在 传感器 前 ; 

口 正 角度 表示 波束 在 传 感 带 的 右边 ; 

口 负 和 角度 表示 波束 在 传 感 带 的 左边 。 

(6) 运行 示例 程序 。 按 下 CtrltF5 组 合 键 运行 程序 ， 来 回 走动 着 说 话 ， 测 试 输出 结果 如 图 6-2 
所 未 。 


——~ 


a file:f//c:/users/y-bl/documents/visual studio 2010/Pro) 


Recording for 20 seconds... 
Changed:0 
Changed:-39 .992454100131569919434374256 
Changed:39.99245418661315 
Changed:—19.9962270500657 
Changed:30.0229884648551 
Changed:39 


一 


-99245410601315 


SODOUECE 
SOUFCEe 
SOUFCEC 
SOUFCEe 
SOUFCEe 


position 
position 
position 
position 
position 
position 


Beam fingle Changed:0 


Beam hngle Changed:39 
position 
position 
position 
position 
position 
[5:17 


SOUFCEe 
SOUFCEe 
SOUECE 
SOUECE 
SOUECE 


<radians>》: 
<radians>》: 
radians>: 
radians>: 
radians>: 
radians>: 


.2992454109001315 
《adians>: 
<radians>: 
<radians>》: 
<radians>》: 
<radians>》: 


39 .4962093143865 
-4962093143865 
-49262093143865 
-0681792985 758 
-B6817232985758 
-B6817232985758 


-1014087631995 
-10146087631995 
-1091408 ”631995 
-1091408 ”631995 
-1091408 7631995 


392 .9924541091315 
12 .29962270500657 
-30.09229884648551 
record to out .wav 


Beam hngole Changed : 
Beam hngogle Changed : 
Beam fingle Changed : 
Finishedy Saue the 


6.3 实例 6 


调用 语音 API， 实 现 语 


图 6-2 ”运行 结 


<、 口 
AA 


别 小 程序 


本 实例 是 一 个 C# 控 制 台 应 用 程序 ， 主 要 演示 了 如 何 使 用 Kinect for Windows SDK 的 语音 识别 


功能 。 编 写 语 首 识别 程序 还 需 下 载 安 痰 做 软 


博 言 识 


列 平台 开发 工具 包 ( Microsoft Speech Platform 


SDK )， 下 载 地 址 为 http://www.microsoft.com/en-us/download/details.aspx?id=27226。 
本 实例 程序 的 基本 流程 如 下 所 示 : 
(1) 创建 一 个 对 象 ， 表 示 Kinect 传 感 器 的 麦克 风 阵 列 ; 


(2) 创建 一 个 语 


(3) 对 命令 进行 啊 应 。 
下 面 详 细 说 明 该 应 用 程序 的 实现 步 又 。 


(1) 新 建 一 个 C# 控 制 台 应 用 的 项 目 ， 命 名 为 “KinectSpeech” 


首 识 别 的 对 象 ， 并 设 定语 法 ; 


， 如 图 6-3 所 示 。 
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New Project | © ls 
Recent Templates ,NET Framework 4 4 | Sort by: Default v | 革 基 | Search Installed Templates D | 
Installed Templates T Vicual C# 

_ -cH| Windows Forms Application Visual C 关 yPe: “sua 
4 Visual C# 一 A project for creating a command-line 
Windows - application 
Web | Gt WPF Application Visual C# 
Office 
Cloud ConsoleApplication Visual CC# 
Reporting 一 | 
SharePoint je of Class Library Visual C# | 
| Silverlight _ 
Test | 吓 WPF Browser Application Visual C# 
WCF 
| Workflow c#| Empty project Visual C# 
XNA Game Studio 4.0 
er Wore -of| Windows Service Visual C# 
Other Project Types ' 
Pe c# WpFC C 1Lib Visual C# 
Modeling projects 声 ustom Control Library ISUa 
Test Projects 由 
be | WPF User Control Library Visual C# 
Online Templates 和 
二 ce Windows Forms Control Library Visual C# 
Name: KinectSpeech| 
Location: c\users\v-blN\documents\visual studio 2010\Projects M Browse,., 
Solution: Create new solution | 
| Solution name: KinectSpeech V| Create directory for solution 
| | Add to source control 


oe Tce 


图 6-3 ”新 建 控制 台 应 用 程序 


(2) 与 前 面 的 实例 一 样 ， 首先 添加 Kinect 库 ， 并 在 应 用 程序 中 引入 Microsoft .Kinect 命 名 
空间 ; 然后 创建 kijnectSsensor 对 象 ， 获 取 连 接 到 电脑 的 Kinect 设 备 并 将 其 赋值 给 该 对 象 ; 接着 
调用 start 函 数 启动 Kinect 设 备 。 相 关 代 码 如 下 : 


public static void Main(string[] args) 


{ 

KinectSensor KinectSensor = (from k in KinectSensor.KinectSensors 
where k.Status == KinectStatus.Connected 
select k) .FirstOrDefault (); 

if (KinectSensor == null) 

{ 

Console.WriteLine("No Kinect Connected\n" + "Press any key to continue.\n"),; 
Console.ReadKey (true); 
return; 
} 
KinectSensor.Start(); 
} 


(3) 添加 语音 识别 库 。 右 击 “References”， 在 弹出 的 快捷 菜单 中 选择 “Add reference...” 菜 单 
项 ， 找 到 Microsoft Speech Platform SDK 安 装 的 日 录 ， 默 认 上 日 录 为 “C:\Program Files\Microsoft 
SDKs\Speech\v11.0\Assembly”， 将 上 日 录 下 的 “Microsoft.Speech.dll” 添 加 进来 ， 并 在 代码 头 添 加 
该 命名 空间 的 引用 ， 如 下 所 示 : 


Using Microsoft.Speech.AudioFormat; 
usSing Microsoft.Speech.Recognition; 
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(4) 搂 有 ， 在 Main 国 数 里 创建 和 配置 一 个 Kinect 音 频 源 对 象 , 以 获取 Kinect 设 备 捕 获 到 的 音频 


KinectAudioSource audioSource = KinectSensor.AudioSource; 
audioSource.EchoCancellationMode = EchoCancellationMode.None; 
audioSource.AutomaticGainControlEnabled = false; 


创建 一 个 KRinectAudioSource 类 型 的 对 象 audioSource 用 来 表示 Kinect 传 感 颖 对 声音 信 
司 ， KinectSsensor 的 KinectAudioSsource 类 下 型 的 AudqioSsource 成 员 保 存 了 获取 到 的 音 | 频 流 ， 
直接 将 它 赋值 给 audioSource。 

将 audioSource 的 EchoCancellationMode 设 置 为 EchoCancellationMode. None, 即 不 
在 本 实例 程序 中 采用 回 波 消除 和 抑制 。 audiosource 的 AutomaticGaincontrolEnabledq 属 性 
决定 了 Kinect Audio DMO 是 否 执行 自动 增益 控制 , 本 实例 设置 为 false, 即 不 采用 目 动 增益 控制 。 
其 他 属性 值 均 使 用 默 愉 值 。 

(5) 在 Speech 中 创建 一 个 语音 识别 引擎， 相关 代码 如 下 : 


Recognizerinfo recognizerIinfo = GetKinectRecognizer(); 


private static RecognizerIinfo GetkKinectRecognizer () 
{ 
FUuNC< Recognizerinfo, bool > matchingFunc = r => 
{ 
string value; 
r.AdditionalInfo.TryGetValue ("Kinect", out value); 
return "True".Equals (value, StringComparison.1linvariantCulturelIgnoreCase) 
&& "en-US".Equals(r.Culture.Name, 
StringComparison.InvariantCulturelIgnoreCase); 
上 
return SpeechRecognitionEngine.InstalledRecognizers() .Where (matchingFunc). 
FirstOrDefault (); 
} 


SpeechRecognitionEngine 类 提供 了 一 系列 获取 和 管理 语音 识别 引擎 的 方法 , 比如 接 下 来 
要 用 到 的 加 载 语 法 硕 、 开 始 执行 语音 识别 、 结 束 语 音 识 别 等 。 其 中 的 InstalledRecognizers 
是 静态 方法 , 它 会 返回 一 个 语音 识别 需 的 列表 , 该 列表 包括 了 当前 系统 上 安装 的 所 有 语音 识别 天 
ee 别 六 的 ID， 并 将 结 采 作为 RecognizerInfo 的 对 象 返 
回 ，RecognizerInfo 类 用 以 表示 语音 识别 引擎 对 象 的 相关 信息 ， 如 Name、Id、Culture 等 。 接 
下 来 ， ee ee | 


Var speechRecognitionEngine = new SpeechRecognitionEngine (recognizerIinfo.1Id) 
(6) 指定 语音 命令 。 本 实例 设计 了 3 个 语音 命令 : red、green 和 blue。 要 指定 这 些 命令 ， 需 
要 创建 并 加 载 一 个 包含 要 识别 的 词语 的 语法 希 ， 具 体 代 码 如 下 : 
usSing (var speechRecognitionEngine = new SpeechRecognitionEngine (recognizerIinfo.1d)) 
{ 
Var colors = new Choices () ; 


Colors.Add ("red"); 
COolors.Add ("green"); 
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Colors.Add("blue"); 


Var grammatBuilder = new GrammarBuilder { Culture = recognizerinfo.Culture }; 
grammatBuilder.Append (colors); 
var 9g = new Grammar (grammatBuilder).; 


speechRecognitionEngine.LoadGrammar (g); 

speechRecognitionEngine.SpeechRecognized += SreSpeechRecognized; 

speechRecognitionEngine.SpeechHypothesized += SreSpeechHypothesized; 

speechRecognitionEngine.SpeechRecognitionRejected += 
SreSpeechRecognitionRejected; 


Choices 对 象 表示 要 识别 的 语句 列表 ,通过 调用 choices .Adgd 方 法 可 以 将 要 识别 的 语句 添加 
到 列表 中 。 完 成 该 列表 后 ,接着 创建 一 个 GrammarBuilgder 对 象 ， 它 能 够 以 简单 的 方式 构造 一 种 
语法 ， 并 且 保 证 其 语义 与 识别 融 的 语义 匹配 。 然 后 将 choices 对 象 传递 给 GrammarBuilader. 
Aopend 方 法 ， 从 而 定义 语法 元 素 。 最 后 ， 通过 调用 SpeechRecognitionEngine.LoadGrammar 
方法 ， 将 定义 好 的 霹 法 元 素 加 载 到 语音 识别 引擎 中 。 

每 当 用 户 说 出 一 个 单词 , 语 首 识 别 便 会 在 语 法 各 的 单词 模板 中 对 用 户 语 首 进行 比 对 ， 从 而 确 
定 该 语 首 是 否 为 需要 被 识别 的 命令 。 然 而 , 语 首 识 别 是 一 种 固有 的 模糊 处 理 方式 ， 因 此 每 一 次 识 
别 都 伴随 一 个 估计 的 置信 和 度 值 。 

speech 的 引擎 会 触发 以 下 3 个 事件 。 

口 SpeechRecognitionEngine.LoadGrammar 事 件 会 在 每 次 尝试 命令 时 发 生 。 它 会 传递 
给 事件 处 理 函 数 一 个 speechRecognizedqEventaArgs 对 象 ， 该 对 象 包含 一 个 从 命令 集合 
中 选 出 的 最 佳 匹配 单词 和 一 个 估计 的 置信 值 。 

UD SpeechRecognitionEngine. SpeechRecognized 事 件 会 在 尝试 的 命令 被 识别 为 命令 
集合 中 的 成 员 时 发 生 。 该 事件 会 传递 给 事件 处 理 函 数 一 个 包含 识别 出 的 命令 的 
SpeechRecognizedEventArgs 对 象 。 

UD SpeechRecognitionEngine.SpeechRe] ected 事 件 会 在 尝试 的 命令 未 被 识别 为 命令 
集成 员 时 发 生 。, 它 会 传递 给 事件 处 理 也 数 一 个 SpeechRecognitionRejectedEventArgs 
对 和 象 。 

在 实例 程序 中 将 这 3 个 事件 全 部 注册 ， 并 且 实 现 相应 的 操作 ， 上 有 具体 代码 如 下 : 


private static void SreSpeechRecognitionRejectedl(object sender., 
SpeechRecognitionRejectedEventArgs e) 


{ 
Console.WriteLine("\nSpeech Rejected").; 
If (e.Result != null) 
{ 
DumpRecordedAudio(e.Result.Audio),; 
} 
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private static void SreSpeechHypothesized(object sender, SpeechHypothesizedEventArgs e) 
{ 


Console.Write("\rSpeech Hypothesized: \t{0}", e.Result.Text).; 
} 


private static void SreSpeechRecognized(object sender, 


{ 


SpeechRecognizedEventArgs e) 


if (e.Result.Confidence >= 0.7) 


Console.WriteLine("\nSpeech Recognized: \t{0}\tConfidence:\t{1}", 
e.Result.Text, e.Result.Confidence);} 
} 
else 


. 


Console.WriteLine("\nSpeech Recognized but confidence was too low: \t{0}", 
e.Result.Confidence).;} 


DumpRecordedAudiol(e.Result.Audio); 
} 
本 两 个 操作 只 是 简单 地 打印 出 来 自 事 件 对 象 的 关键 数据 。 sreSspeechRecognitionRejected 
处 理 程序 调用 私有 的 DumpRecordedAudio 方 法 ,将 记录 的 单词 瑟 和 人 WAV 文件 。 
(7) 识别 命令 。 在 语音 识别 配置 完成 后 ，speecph 将 启动 处 理 流程 。 语 音 识别 引 敬 会 自动 识别 
出 语法 中 的 单词 ， 并 且 根 据 识 别 的 情况 触发 相应 的 事件 ， 相 关 代 但 如 下 : 


using (Stream s = audqloSource.Statrt () ) 


| 


speechRecognitionEngine.SetInputToAudioStreanm!( 
s, new SpeechAudioFormatinfo (EncodingFormat .Pcm, 
16000, 16, 1, 32000, 2, null)); 


Console.WriteLinel 


"Recognizing speech. Say: 'red', 'green' or 'blue'. Press ENTER to stop"),; 


speechRecognitionEngine.RecognizeAsync (RecognizeMode.Multiple); 
Console.ReadLine();} 

Console.WriteLine("Stopping recognizer ..."); 
speechRecognitionEngine.RecognizeAsyncStop ( ) ; 


} 


Speech 通 过 调用 KinectAudioSource.StartCapture, 从 Kinect 传 感 剖 的 麦克 风 阵 列 捕获 
频 。 然 后 进行 以 下 操作 。 

Gd 调用 SpeechRecognitionEngine. SetInputToAudioStream 指 定 彰 频 源 及 其 寺 征 。 

CC 调用 SpeechRecognitionEngine .Recognil zeAsync 指 定 异 步 的 识别 。 语音 识别 引擎 会 
一 二 在 后 人 台 运 行 ， 下 至 用 户 通 过 按键 终止 该 进程 。 

(3) 调用 speechRecognitionEngine.RecognizeAsvyncStop 停 止 识 别处 理 并 关闭 引擎 。 

(8) 运行 示例 程序 

按 下 ctrl+F5 组 合 键 运行 程序 面 加 Kinect 说 出 red、 green 或 blue 程序 会 对 应 每 个 命令 
打印 出 相应 的 通知 ， 主 要 包含 以 下 信息 : 
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口 命令 集合 中 的 哪 一 个 成 员 最 接近 说 出 的 命令 ; 
口 评估 的 置信 和 度 值 ; 
口 该 命令 是 否 被 识别 为 命令 集中 的 成 员 。 


测试 输出 结果 如 图 6-4 所 示 。 


一 一 “i . 
r fle///CVUsers/v-bVDocuments/Ca/SpeecVBin/Debug/SpeechEXE. | lm 


Using: Microsoft Server Speech Recognition Language 一 Kinect en—US> 
Recognizing speech. Sau: "hed' 。 ’green’ or ’blue’. Press ENTER to stop 
Speech Huwpothesized : ， 

Speech Recognized but confidence was too low: .2764376 


Writing file: Retainedfudio_6 .wav 
Speech Hypothesized: blue 
Speech Recognized hbut conf idence was : 日 .2628398 


Writing file: Retainedfudio_?.wav 
Speech Huwpothesized : blue 
Speech Recognized hbut conf idence Was 时 日 .45 70868 


Writing file: Retainednhuadio_8 .wauw 
Speech Huwpothesized : green 
Sspeech Recognized but confidence was : 0.4486768 


Writing file: Retainedfudio_9 .wav 
Speech Hupothesized : re 
Speech Recognized hbut conf iduence Was : HH.5912446 


Writing file: Retainedfudio_1i0.wav 


~ 


图 6-4 了 结 宋 


mi 


6.4 ”小 结 


尽管 Kinect 在 语音 识别 的 性 能 上 有 所 提升 ， 但 是 单纯 依赖 Kinect for Windows SDK 提 供 的 
Speech API 很 难 实现 有 效 的 语音 识别 。 由 于 大 多 程序 的 应 用 场景 都 比较 嘲 杂 ， 噪 音 较 多 ， 再 加 上 
发 音 的 差异 ,因此 应 用 程序 很 难 准 确 地 定位 到 玩家 想 要 通过 语音 触发 的 功能 上 。 一 般 而 言 ， 增 加 
识别 字符 串 的 单词 数量 , 可 以 提高 语音 识别 的 准确 度 , 比如 , 使 用 “Kinect Play” 就 远 比 只 用 “Play” 
作为 语音 命令 有 效 得 多 。 还 可 以 结合 手势 识别 提高 语音 识别 的 精确 度 ， 因 为 Kinect 并 不 知道 什么 
时 候 才 要 进行 语音 识别 ， 如 果 一 直 使 语音 识别 程序 处 于 运行 状态 , 就 有 可 能 匹配 到 一 段 噪音 , 跳 
转 到 未 知 的 处 理 流 程 上 。 这 时 就 可 以 设计 一 个 手势 ， 只 有 当 Kinect 捕 提 到 这 一 特定 的 手势 时 才 开 
局 语音 识别 ， 否 则 保持 关闭 ,这 样 可 有 效 减 少 干扰 。 此 外 ， 目 前 语音 识别 对 中 文 的 文 持 有 限 ， 最 
好 使 用 简单 的 英文 作为 语音 命令 。 


Kinect for WIndows 
Developer Toolkit 介 绍 


2012 年 5 月 21 日 ,微软 官方 发 布 了 Kinect SDK 1.5 版 本 。 相 对 于 之 前 的 1.0 版 本 , 它 最 大 的 改变 
在 于 增加 了 一 个 工具 包 Kinect for Windows Developer Toolkit， 其 中 主要 包含 Kinect Studio 和 
Face Tracking SDK 两 个 辅助 工具 ,并 附带 了 一 些 新 的 示例 代码 。 另 外 ，SDK 中 的 骨骼 跟踪 功能 
有 了 质 的 飞跃 ,可 以 实时 获取 骨骼 点 的 旋转 信息 。 在 本 章 中 , 我 们 将 介绍 这 些 新 的 功能 及 其 使 用 
jo 


7.1 安装 Kinect for Windows Developer Toolkit 


为 Kinect for Windows Developer Toolkit 的 安装 包 是 和 SDK 分 离 的 ， 所 以 在 使 用 前 ， 需 要 先 
对 其 进行 安装 。, 安装 开发 者 工具 包 的 前 提 是 已 经 安装 过 1.5 或 以 上 版 本 的 Kinect for Windows SDK， 
这 一 部 分 内 容 请 参阅 第 4 草 。 下 面 仪 介绍 开发 者 工具 包 的 安装 方法 。 

Kinect for Windows 官 方 网 站 提供 了 开发 者 工具 包 安 装 包 的 下 载 ( http://www.microsoft.com/ 
en-us/kinectforwindows/develop/developer-downloads.aspx )， 如 图 7-1 所 示 。 


Contains source code samples, Kinect Studio, Face Tracking SDK, and other resources to simplity 对 eveloplnag 
applications using the Kinect for Windows SDK. 


Version 1.5, updated 03/21/2012, 60 MB, Enghish,. 


DOWNLOAD TOOLKIT View Release Notes > 


图 7-1 Kinect 官 网 上 的 下 载 页 面 


单 击 “DOWNLOAD TOOLKIT” 下 和 载 安装 包 ， 并 运行 。 首 先 依旧 是 最 终 用 户 许可 协议 ， 仔 
细 了 阅读 后 勾 选 “我 同意 许可 条 款 和 条 件 ” 并 单 击 “安装 ”按钮 ， 如 图 7-2 所 示 。 
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芒 Kinect for Windows Developer Toolkit 安装 程 F 


KINECT 


for Windows: 
最 终 用 尸 许 可 协议 
Microsoft Kinect for Windows 开发 工具 包 


这 些许 可 条 款 是 Microsoft Corporation 或 您 所 在 地 的 Microsoft Corporation 关联 公司 ) 与 您 之 间 达 成 的 协议 。 请 
阅读 条 款 内 容 。 这 些 条 款 适 用 于 上 述 软 件 ， 包括 您 用 来 接收 该 软件 的 介质 ‘如 有 ) 。 本 协 襄 同样 适用 于 该 软件 的 任 
何 Microsoft 

。 更 新 

* 补充 程序 

。 文档 和 

。 支持 服务 
【除非 这 些 项 目 附 带 有 其 他 条 款 ) 。 如 果 确 实 附 带 有 其 他 条 款 ， 应 遵守 那些 条 款 。 


本 软件 并 未 出 售 ， 只 是 授予 许可 。 下载、 安装 、 访 问 或 使 用 该 软件 ， 即 表示 您 接受 本 协议 的 所 有 条 款 。 如 果 您 不 
接受 这 些 条 款 ， 请 不 要 下 载 、 安装 、 访 问 或 使 用 该 软件 。“ 您 ”代表 下 载 、 安 装 、 访 问 或 使 用 软件 的 个 人 《如 果 
您 代表 法 律 实体 ， 则 “您 ”也 代表 实体 ， 而 且 您 声明 并 保证 您 有 梭 代 表 该 实体 签署 该 协议 ) 。 


如 果 您 遵守 这 些许 可 条 款 ， 您 将 拥有 以 下 权利 。 
1. 安装 和 使 用 权利 。 
。 a. 安装 和 使 用 。 您 可 以 (i) 在 您 的 计算 机 中 安装 和 使 用 任意 数量 的 软件 副本 (只 有 在 使 用 相应 的 软件 安装 


图 7-2 ”开发 者 工具 包 用 户 协 议 
然后 等 待 安装 结束 即 可 。 当 看 到 “安装 已 完成 ”时 ， 如 图 7-3 所 示 ， 说 明 开 发 者 工具 包 已 经 
安装 成 功 了 ， 可 以 开始 下 一 步 的 功能 体验 了 。 
臣 Kinect for Wi dows Develope - 
he 开发 者 工具 包 
安装 已 完成 


图 7-3 ”开发 者 工具 包 安 装 完成 
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7.2 Kinect Studio 简介 


在 开发 Kinect 应 用 时 , 我 们 经 常会 直到 这 样 一 种 场景 : 写 完 一 段 功能 代码 , 对 其 进行 测试 时 ， 
需要 开发 者 运行 程序 并 且 从 座位 上 站 起 来 , 走 到 Kinect 前 , 通过 相应 的 动作 和 手势 才能 完成 测试 ， 
最 后 青 回 到 电脑 前 继续 写 代码 。 这 个 过 程 如 采 重 复 多 次 ,就 会 让 人 感觉 极 其 麻烦 ， 而 如 采 在 测试 
的 同时 需要 查看 相应 的 参数 ， 甚 至 还 需要 其 他 人 的 帮忙 。 这 对 开发 者 而 言 简直 是 一 场 亚 梦 ， 而 
Kinect Studio 就 是 用 来 解决 此 类 问题 的 。 

Kinect Studio 可 以 像 摄像 机 一 样 ， 记 录 原 始 的 深 度 和 彩色 数据 流 ， 并 在 Kinect 刁 用 中 重 放 。 
如 此 一 来 开发 者 束 可 以 使 用 提前 记录 的 一 段 数据 流 ， 坐 在 电脑 前 调试 代码 了 ， 这 将 极 大 地 提 癌 
Kinect 程 序 员 的 开发 效率 。 下 面 我 们 就 来 介绍 如 何 使 用 Kinect Studio 的 强大 功能 。 


7.2.1 打开 Kinect Studio 并 链接 应 用 
在 “开始 ”菜单 中 找到 Kinect Studio 并 打开 ， 如 图 7-4 所 示 。 


| Kinect for Windows SDK v1.5 
= Developer Toolkit Browser v1.5.C 
| | Get Latest Developer Toolkt (Kir 
2 向 nect Studio v1.5.0 


| SDK Documentation (Kinect for Y 
Kinect for Windows Kinect Studio 


图 7-4 ”打开 Kinect Studio 


单 击 运 行 后 ， 我 们 就 可 以 看 到 Kinect Studio 的 主 界面 ， 如 图 7-5 所 示 。 


和 
“= Kinect Studio 


In 


Tools Help 


Fle View Timeline 


Disconnected | Idle 


图 7-5 ”Kinect Studio 主 界面 


同时 还 会 弹出 一 个 连接 应 用 的 对 话 框 ， 如 图 7-6 所 示 。 

这 是 因为 Kinect Studio 是 Kinect 应 用 的 辅助 工具 ， 记 录 数 据 之 前 需要 移 将 其 连接 到 一 个 已 经 
打开 的 Kinect 详 用 上 ,我 们 打开 最 基础 的 “Skeletal Viewer 实例 , 并 单 击 连接 对 话 框 上 的 “Refresh” 
按钮 ， 就 可 以 看 到 这 个 应 用 了 ， 如 图 7-7 所 示 。 
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Connect to a Kinect App & Sens 


You must cormect to a Kinect-enabled app 1if you want to record or inject Kinect data. 


Without a connection, you may Still open and plavyback .NED files. 


Choose ar app/ sensor pailr: 


Frocess ID 1 Sensor Connection ID 


Flease launch a Kinect-enabled App and then press the refresh button. 


图 7-6 ”Kinect Studio 连 接应 用 


Connect to a Kinect App & Sensor [| 


You must cornmect to a Kinect-enabled app if you want to record or inject Kinect data. 


Without a conmection, you may still] open and plavyback .MED files. 


Choose ar app/ sensor palir: 


Process ID Title Sensor Connection ID 


SkeletalViewer. exe | S064 Skeletal Viewer USB\YID O4098FID OOSA\S&30124DEO8DS1 


图 7-7 刷新 后 的 连接 应 用 对 话 框 
最 后 ， 单 击 “Connect” 按 钮 就 可 以 连接 到 Skeletal Viewer 应 用 上 上 本。 


7.2.2 ”记录 并 回放 Kinect 数据 流 


本 闻 将 介绍 如 何 使 用 Kinect Studio 完 成 最 基本 的 调试 辅助 功能 
1. 记录 调试 动作 
首先 应 在 左 侧 的 Stream 面 板 中 ， 选 中 Color 和 Depth 的 记录 属性 ， 如 图 7-8 所 示 。 


图 7-8 ” ”Stream 面板 


然后 单 击 工具 栏 中 的 记录 按钮 ( 龟 )， 这 时 记录 已 经 开始 ， 开 发 者 可 以 在 Kinect 前 做 相应 的 
调试 动作 。 动 作 完 成 后 , 单 击 工 作 栏 中 的 集 止 按钮 ( 里 ) 就 可 以 完成 记录 工作 了 ， 如 图 7-9 所 示 。 
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隔 
= Kinect Studio Capture (2012 六 月 -10 12.25.23.8).xed - Kinect Studio 


Fle View Timeline JTools Help 


芝 驶 * | 已 bl 加 二 jl Wi Current: 6475ms Total: 15101ms 


各 Connected: Skeletal Viewer | Playback Stopped 


图 7-9 ”记录 数据 后 的 Kinect Studio 面 板 


2. 在 应 用 中 回放 记录 的 动作 

通过 上 述 操作 ， 我 们 已 经 完成 了 Kinect 数 据 流 的 记录 工作 ， 接 下 来 就 可 以 使 用 回放 功能 
这 里 需要 注意 的 是 , 工具 栏 上 的 应 用 调试 按钮 (13 ) 已 经 处 于 按 下 的 状态 ， 此 时 进行 回放 会 将 刚 
才 记 录 的 数据 直接 输入 到 Skeletal Viewer 用 中 。 单 击 回 放 按 钮 ( 有 ) 开始 回放 ，Skeletal Viewer 
应 用 将 重复 播放 刚才 记录 的 那 段 动作 ， 如 图 7-10 所 示 。 


1 -= 
EY Skeletal Viewer 之 


图 7-10 ”在 Skeletal Viewer 中 回放 动作 


不 仅 如 此 ，Kinect Studio 还 支持 单 帧 回放 的 功能 ， 其 中 各 个 按钮 的 作用 如 下 所 示 。 

口 初始 帧 〈 此 ): 跳 转 到 记录 的 第 一 帧 ; 

口 上 一 帧 〈  ): 返回 到 上 一 帧 的 图 像 

口 下 一 帧 ( ys ): 前 进 到 下 一 帧 的 网 像 

口 结束 帧 〈 冀 ): 跳 转 到 记录 的 最 后 一 帧 。 

3. 在 数据 查看 窗口 中 查看 回放 动作 

虽然 Skeletal Viewer 应 用 可 以 直观 地 显示 Kinect 的 彩色 、 深 度数 据 流 , 但 并 不 是 所 有 的 应 用 都 
有 这 样 的 窗口 。 为 此 ，Kinect Studio 还 提供 了 专门 的 窗口 ,可 以 让 开发 者 直观 地 查看 原始 数据 流 。 

首先 在 “View” 菜 单 选中 “Color”"、“Depth” 和 “3D View” 选 项 ， 如 图 7-11 所 示 。 


图 7-11 在 View 有 订单 中 选中 相应 的 选项 
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这 时 就 会 出 现 对 应 的 3 个 窗口 ， 和 上 面 提 到 的 回放 方法 一 样 ， 单 击 回 放 和 单 步 回放 按钮 ， 即 
可 查看 记录 的 数据 ， 如 图 7-12 所 示 。 其 中 ， 第 一 个 和 窗口 显示 的 是 深度 图 和 彩色 图 的 组 合 视 图 ， 第 
二 个 窗口 显示 的 是 彩色 图 ， 第 三 个 窗口 显示 的 是 次 度 图 。 


2 3D Viewer (0 “= Color Viewer 2 Depth Viewer 


大 时 志 耐 | 山 Qa | ZoomtoFit > 包 (QZoom to Fit MC 


| Frame: 97389 .: 咱 | Frame: 101851 


图 7-12 ”3 个 对 应 的 数据 查看 窗口 


7.2.3 ”保存 和 载 入 Kinect 数据 流 


由 于 之 前 记录 和 回放 操作 的 数据 都 保存 在 内 存 中 ， 因 此 我 们 只 能 在 当前 的 电脑 中 进行 调试 ， 
无 法 将 其 复制 到 其 他 地 方 。 为 此 ，Kinect Studio 提 供 了 保存 和 载 人 的 功能 ， 可 以 将 这 些 数据 写 到 
便 盘 文件 中 ， 这 样 我 们 就 可 以 在 多 人 台电 脑 上 调试 同一 个 动作 了 。 

主 面板 工具 栏 最 左边 的 两 个 按钮 承 是 载 人 和 保存 按钮 。 单 击 保 存 按钮 ,将 会 弹出 保存 对 话 框 ， 
选择 保存 路 径 和 文件 名 进行 保存 ， 如 图 7-13 所 示 。 


另存 为 


小 收藏 夫 


| 。 凤 ss 
| J 厨 库 
晤 | 


, El Subversion 


ww Kinect Studio ( 


Fle View 


各 Connected: Skeletal Viewer | Playback Stopped 


一 


图 7-13 ”Kinect Studio 保 存 对 话 框 
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值得 注意 的 是 ，Kinect 原 始 数 据 流 的 数据 量 很 大 ， 一段 时 长 15 秒 的 数据 保存 成 文件 就 能 达到 
300MB。 因 此 在 保存 时 ， 应 尽量 选取 其 中 的 主要 调试 动作 ， 这 样 可 以 减轻 人 硬盘 的 负担 。 

在 时 间 轴 上 选取 需要 保存 的 数据 段 ， 这 些 段 会 以 黄色 显示 。 然 后 在 “Timeline” 沫 单 中 选择 
“Save Range As” 菜 单项 ， 即 可 将 选取 的 数据 段 保 存 成 文件 ， 如 图 7-14 所 示 。 


下 
“ee” Di\ 日 常 工作 \MSRA\kinect 书 逢 \ 最 终 \Kinect Studio Capture (2012 六 月 -10 12.25.23.8).xed - Kinect Studio Eo ES 


File View | Timeline | Tools Help 
了 | Select Range... 
| Clear Selection ESC 


bl 小 | Current: 5130ms Start: 5130ms End: 8405ms 


Save Range As... 


OE 


Depth | 加 上 ee OO 


10sec 
+ [到 [SL 


Press "Esc" key to clear selected range 


OB Disconnected | Playback Stopped 


图 7-14 ”保存 选 定 的 数据 段 


7.3 Face Tracking SDK 简介 


Toolkit 中 为 一 个 引 人 注 目的 功能 是 Face Tracking SDK。 顾 名 思 义 ， 它 是 用 来 追踪 并 提供 详细 
wi 言 奶 的。 前 面 已 经 提 到 过 ，Kinect SDK 提 供 的 肯 融 跟踪 较为 粗糙 ， 只 是 将 头 部 识别 成 单一 的 骨 
锅 点 ， 这 样 仅 能 得 到 头 的 位 置 ， 而 无 法 获取 面部 绷 加 和 表情 等 特征 ，Face Tracking 则 解决 了 这 些 问 

gi es 将 详细 介绍 Face Tracking SDK 的 功能 和 用 法 ， 下 一 市 我 们 通过 一 个 实例 进行 简单 演示 。 


7.3.1 Face Tracking SDK 主要 功能 
我 们 先 来 看 一 个 使 用 Face Tracking SDK 开 发 的 趣味 应 用 ， 如 图 7-15 所 示 。 


= SingleFace -- Depth:PLAYERID:320x240 Color:RGB:640x480 NearMode:ON, SeatedSkeleton:OFF | = XJ 


图 7-15 Face Tracking 趣 味 应 用 
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这 个 应 用 可 以 将 右 侧 夏 实 的 人 脸 图 像 转变 为 一 副 抽象 的 人 脸 图 像 , 其 中 脸 的 朝 癌 、 嘴 型 和 让 
型 都 能 实时 地 和 真实 人 脸 对 应 起 来 。 它 就 是 根据 Face Tracking 识 别 的 人 脸 模 型 构造 出 来 的 。 因 此 
在 使 用 Face Tracking 之 前 ， 我 们 首先 要 了 解 这 个 库 究 葛 能 做 什么 ， 即 能 识别 出 人 脸 的 哪些 数据 。 
Face Tracking 可 以 识别 出 的 人 脸 数 据 主要 包括 以 下 几 项 : 

口 特征 点 坐标 ; 

口 面部 天 加 ; 

口 包 羡 盒 ; 

口 基于 Candide3 人 脸 模 型 的 参数 。 

下 面 分 别 对 这 几 项 内 容 进 行 介 绍 。 

1. 特征 点 坐标 

Face Tracking 可 以 根据 Kinect 提 供 的 深度 图 和 彩色 图 ， 对 人 脸 的 100 个 特征 点 进行 识别 和 追 

踪 ， 如 图 7-16 所 示 。 


一 
“Face Tracking Basics 


A 
SN 
Nd 

访 


Nail 


图 7-16 “Face Tracking 识 别 的 人 脸 特 征 点 


图 中 的 白色 “面具 ”就 是 由 Face _ Tracking 识别 出 的 一 部 分 特征 点 组 成 的 。 通 过 调用 
FaceTrackFrame.GetProjected3DShape () 和 FaceTrackFrame .Get3DShape () 两 个 困 数 ， 
可 以 获得 这 些 特征 点 的 平面 坐标 和 立体 坐标 。 


2. 面部 朝向 
在 Kinect SDK 获 取 的 头 部 位 置 的 基础 上 ，Face Tracking 还 可 以 获得 头 部 的 转动 数据 ， 即 面部 


明 回 ， 可 以 通过 FaceTrackFErame .Rotation() 困 数 实 现 。 


3. 包围 盒 
为 了 便于 开发 者 处 理 自 定义 的 面部 信息 ，Face Tracking 还 提供 了 人 脸 的 矩形 包围 盒 数 据 ， 通 
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过 FaceTrackErame FaceRect 返 加 和 时 

4. 基于 Candide3 人 脸 模 型 的 参数 

为 了 更 加 简便 地 将 人 脸 识 别 的 结果 应 用 到 动画 制作 以 及 模型 控制 上 ，Face Tracking 还 返回 了 
人 脸 基 于 Candide3 模 型 的 参数 。Candide3 模 型 是 一 种 通用 的 人 脸 模 型 ， 通 过 少量 的 参数 就 可 以 表 
现 出 人 脸 的 不 同形 态 以 及 表情 ， 很 多 3D 模 型 都 是 用 它 来 模拟 人 脸 的 。 调 用 Face Tracking 中 的 


FaceTrackFrame .GetAnimationUnitCoefficients!l() 函数 可 以 直接 获得 这 些 参 数 。 


7.3.2 Face Tracking SDK 使 用 方法 


在 了 解 了 Face Tracking 的 功能 后 , 剩 下 的 问题 就 是 如 何在 现 有 的 Kinect SDK 上 使 用 它 的 功能 。 

我 们 首先 应 该 明确 一 点 ，Face Tracking 是 一 个 基于 Kinect SDK 的 扩 展 类 库 ， 其 使 用 方法 类 似 
于 Kinect Toolbox 和 Coding4Fun 等 第 三 方 类 库 。 也 就 是 说 ， 需 要 在 初始 化 Kinect 数 据 的 基础 上 ,将 
每 一 帆 的 彩色 图 、 深 度 图 和 骨骼 数据 传递 给 Face Tracking， 之 后 它 才 会 返回 这 些 帧 的 识别 结 
包含 上 面 提 到 的 各 种 数据 ， 如 图 7-17 所 示 。 


彩色 图 、 深 度 图 和 
读 取 彩色 图 、 深 度 以 及 骨骼 数据 a 
Kinect SDK 加 Kinect 必 用 Tracking 
< 一 一 一 人 脸 识 别 结 果 SDK 


图 7-17” Face Tracking 的 调用 方法 


7.4 实例 7 一 一 使 用 Face Tracking SDK 识别 人 脸 


前 面 介 绍 了 Face Tracking 的 主要 功能 及 其 调用 方法 ， 本 市 将 通过 编写 一 个 简单 的 Face 
Tracking 应 用 来 演示 它 的 具体 使 用 方法 。 


7.4.1 新建 项 目 间 添加 引用 


在 编写 代码 之 前 ， 我 们 要 先 找到 Face Tracking 的 链接 库 。 打 开 Developer Toolkit Browser， 在 
“Components” 标 签 中 下 载 并 安装 “Microsoft.Kinect.Toolkit” 和 “Microsoft.Kinect.Toolkit.FaceTracking”， 
如 图 7-18 所 示 。 


8 第 7 章 Kinect for Windows Developer Toolkit 介绍 


: : - = 有 S 
“=™ Kinect for Windows Developer Toolkit v1.5.0 0 han on 一 一 一 一 . 


KINECT 


for Windows: Resources & Samples 


Docs Samples: C# Samples: C++ Samples: VB SDKs Tools 


Microsoft.Kinect. Toolkit Dos 
Toolkit components for easy reuse within your .NET application. To be included in your solution as a 


KI N ECT ect. 


r WiNndOws 


Difficulty: Beginner Language: 


Microsoft. Kinect. Toolkit. FaceTracking 
FaceTracking API for use within 》 .NET application. To be included in your solution as a project 


Install 


Difficulty: Beginner Language: 


Kinect Language Packs RE 
Language pa at allo ech recognit ork in the following locales: en-AU, en-CA, en-GB, en- 


IE, en-NZ es-ES es-IMX CA fr-FR, rt- ee 


Difficulty: Beginner Language: (>) Go To Web Page 


图 7-18 ”安装 FaceTracking 


然后 打开 Visual Studio 2010， 新 建 WPF 项 目 ， 并 命名 为 “FaceTest”， 如 图 7-19 所 示 。 


由 Vi ## 
Windows 窗 体 应 用 程序 Visual C# 类 型 : Visual C 
bed Windows Presentation Foundation 客 
本 州 ”WpF 应 用 程序 Visual C# 户 庙 应 用 程序 
Windows 


Web 外 ”控制 台 应 用 程序 Visual C# 
Office 


Cloud [ ASP.NET Web 应 用 程序 Visual C# 
Reporting 
SharePoint 类 库 Visual C# 
Silverlight Se 
WCF ASP.NET MVC 2 Web 应 用 程序 Visual C# 
Workflow | B 
XNA Game Studio 4.0 Silverlight 应 用 程序 Visual C# 
测试 

Visual C++ 4 Silverlight 类 库 Visual C# 

Vieual F# 


WCF 服务 应 用 程序 Visual C# 


FaceTest 
DBIftest se. 
FaceTest 为 解决 方案 创建 目录 (D) 
站 | 添加 到 源 代码 管理 (U) 


图 7-19 ”新 建 FaceTest 项 日 
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接着 在 “解决 方案 资源 管理 盯 ” 中 加 入 刚才 安 竣 的 两 个 项 目 代 码 〈 单 击 鼠 标 右键 ， 然 后 选择 


“添加 ”一 “ 现 有 项 目 ” 选 项 ， 选 择 相应 的 .csproj 文 件 )， 如 图 7-20 所 示 。 


lodel.cs MainWindow.xaml MainWindow.xaml.cs Xx 解决 方案 资源 管理 器 


vx 


-| OnAllframesReady(object sender AllframesReadyEventArgs allframesReadyEver ~ 下 


土 四 | 解决 产 安 'fare 


生成 解决 方案 (B) Ctrl+Shift+B 
重新 生成 解决 方案 (R) 
清理 解决 方案 (C) 
批 生 成 中 .. 
配置 管理 融 (O).. 
计算 代码 度量 值 (O) 
项 目 依 束 项 (S).. 
项 目 生 成 顺序 目 … 
新 建 项 目 (N)... 添加 (D) » 
现 有 项 目 (E).. 设置 启动 项 目 (A).. 
新 建 网 站 (WO0.… 下 将 解决 方案 添加 到 源 代码 管理 (A).. 
现 有 网 站 (B)... 总 粘贴 (p) ctrl+V 
2 ”新 建 项 W).. Ctrl+Shift+A 重 命名 (M) 
天 现 有 项 (G)… Shift+Ak+A | 全 在 Windows 资源 管理 器 中 打开 文件 夫 (X 
] 7 新 建 解 决 方案 文件 夫 (D) 也 尾 性 (R) Alt+Enter 


图 7-20 ”在 解决 方案 中 添加 已 有 的 两 个 项 日 


est (3 个 项 目 ) 2 


es 


1 


osoft.CSharp 画 
osoft.Kinect 
osoft.Kinect.Toolk 
osoft.Kinect.Toolk 
entationCore 
entationFramewor 
mm 


m.Core 


四 队 资 .… 


性 


facetest 


Pennininnivnr DI~+# 


最 后 ， 在 主 项 目 FaceTest 中 添加 刚才 加 入 的 两 个 项 目的 引用 ， 如 图 7-21 所 示 。 


eo 添加 引用 


项 目 名 称 项 目 目 录 


Microsoft.Kinect.Toollkit DA 日 第 工作 \M 


Microsoft.Kinect.Toolkit.FaceTracking D:\ 日 常 工 作 \MS 


图 7-21 在 项 目 中 添加 对 Face Tracking SDK 的 引用 
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7.4.2 ”初始 化 Kinect 数据 流 
前 面 已 经 提 到 过 ，Face Tracking 的 数据 源 是 Kinect 获 取 到 的 每 一 帆 的 彩色 、 深 度 以 及 骨骼 数 
据 ， 因 此 首先 要 用 前 面 草 市 提 到 的 方法 初始 化 Kinect。 相 关 代 人 码 如 下 : 


private void Window Loaded (object sender, RoutedEventArgs e) 


{ 


kinectSensor = (from sensor in KinectSensor.KinectSensors 
where sensor.Status == KinectStatus.Connected 
select sensor) .FirstOrDefault (); 
kinectSensor.Start(); 
kinectSensor.ColorStream.Enable (ColorIimageFormat. 
RgbResolution640x480Fps30);} 
kinectSensor.DepthStream.Enable (DepthIimageFormat. 
Resolution320x240Fps30); 
try 
{ 
kinectSensor.DepthStream.Range = DepthRange.Near:; 
kinectSensor.SkeletonStream.EnableTrackingInNearRange = true; 
} 
catch (InvalidOperationException,) 
{ 
kinectSensor.DepthStream.Range = DepthRange.Default; 
kinectSensor.SkeletonStream.EnableTrackingInNearRange = false; 


} 


kinectSensor.SkeletonStream.TrackingMode = 
SkeletonTrackingMode .Seated; 

kinectSensor.SkeletonStream.Enable(); 

kinectSensor.AllFramesReady += OnAllFramesReady:; 


} 


private void OnAllFramesReady (object sender., 
AllFramesReadyEventArgs 
allFramesReadyEventArgs,) 

{ 

} 


这 里 我 们 使 用 了 近景 以 及 坐姿 模式 , 因此 只 需 考 虑 面部 的 识别 效果 , 可 以 忽略 下 半 和 号 的 骨骼 
数据 。 接 下 来 ， 我 们 就 可 以 在 onAllFramesReady () 图 数 中 处 理 数据 了 。 


7.4.3 ”获取 数据 并 传 入 Face Tracking 


在 调用 Face Tracking 之 前 ， 和 站 和 完 要 定义 一 些 数 据 成 员 用 来 存放 Kinect 获 取 的 原始 数据 ， 相 关 
代码 如 下 : 


private int trackedID; 


private FaceTracker faceTracker; 

private bytel[l] colorIimage; 

private ColorIimageFormat colorIimageFormat = ColorIimageFormat .Undefined; 
private short[] depthIimage; 
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private DepthIimageFormat depthIimageFormat = DepthIimageFormat .Undefined; 
private bool disposed; 
private Skeleton[] skeletonData; 


在 上 面 的 代码 中 , colorImage qdqepthImagqe 和 skeletonData 用 来 记录 Kinect 原 始 数据 流 ; 
ColorIimageFormat 和 depthImageFormat 用 来 防止 出 现 格 式 问 是 ; trackedSkeletons 用 来 
对 每 一 个 追踪 到 的 骨骼 进行 人 脸 识 别 。FaceTracker 是 Face Tracking 的 核心 类 ， 类 似 于 Kinect 
SDK 中 的 KinectSensor， 提 供 传 人 、 传 出 数据 的 函数 接口 。 

接 下 来 ， 在 OnA11FramesReady () 图 数 中 调用 FaceTracker 传 人 数据 并 获得 结果 。 相 关 代 
但 如 下 : 


private void OnAllFramesReady (object sender., 


AllFramesReadyEventArgs allFramesReadyEventArgs) 


ColorImageFrame colorIimageFrame = null; 
DepthImageFrame depthImageFrame = null; 
SkeletonFrame skeletonFrame = null; 
colorIimageFrame = allFramesReadyEventArgs.OpenColorIimageFrame (); 
depthImageFrame = allFramesReadyEventArgs.OpenDepthIimageFrame(); 
skeletonFrame = allFramesReadyEventArgs.OpenSkeletonFrame(); 
if (ColorImageFrame = null || depthIimagerrame == null || skeletonFrame == TIul1) 
{ 
return; 
} 
if (this.depthIimageFormat != depthImageFrame.Format) 


this.depthIimage = null; 
this.depthIimageFormat = depthIimageFrame.Format; 


if (this.colorIimageFormat != colorImageFrame.Format) 
{ 

this.colorIimage = null; 

this.colorImageFormat = colorlImageFrame.Format; 
} 
if (this.depthIimage == null) 


this.depthIimage = new shortldepthIimageFrame.PixelDataLength]; 


if (this.colorIimage == null) 
{ 

this.colorIimage = new bytelcolorIimageFrame.PixelDataLength]; 
if (this.skeletonData == null || this.skeletonData.Length != 


skeletonFrame.SkeletonArrayLength,) 


this.skeletonData = new Skeleton[skeletonFrame.SkeletonArrayLength]; 
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colorIimageFrame.CopyPixelDataTo (this.colorIimage); 
depthImageFrame.CopyPixelDataTo (this.depthImage);} 
skeletonFrame.CopySkeletonDataTo (this.skeletonData); 


foreach (Skeleton skeleton in this.skeletonData) 


{ 
if (skeleton.TrackingState == SkeletonTrackingState.Tracked) 


‘ 
if (skeleton.TrackingId!=trackedID| |faceTracker==null) 


{ 
faceTracker = new FaceTracker (kinectSensor).: 
trackedID=skeleton.TrackingId; 


FaceTrackFrame frame = faceTracker.Track (colorImageFormat, 
colorIimage, 
depthImageFormat, 
depthImage, 
skeleton); 

Canvas.SetLeft (Face, frame.FaceRect .Left).; 

Canvas.SetTop (Face, frame.FaceRect.Top); 

Face.Height = frame.FaceRect.Height; 

Face.Width = frame.FaceRect .Width.; 

break; 


} 
这 段 代码 的 主要 逻辑 以 及 前 面 的 部 分 与 普通 的 数据 流 调用 一 样 。 但 值得 注意 的 是 ，Face 
Tracking 不 能 处 理 图 片 格式 ， 遇 到 这 种 情况 时 会 抛 出 异种 ， 因 此 需要 在 传人 数据 前 加 以 判断 : 


if (this.depthImageFormat != depthIimageFrame.Format) 
{ 


this.depthIimage = null; 
this.depthIimageFormat = depthIimageFrame.Format; 


} 


if (this.colorIimageFormat != colorIimageFrame.Format) 
this.colorIimage = null; 
this.colorImageFormat = colorIimageFrame.Format; 


} 

另外 ,最 后 一 段 对 骨骼 数据 的 循环 内 容 也 有 所 不 同 。 对 于 每 一 个 追踪 到 的 骨骼 ， 首 先 要 判断 
其 是 否 为 正在 跟踪 的 骨骼 ， 另 外 ， 还 需 判断 当前 的 FaceTracketr 是 否 已 经 初始 化 ， 如 果 不 是 ， 
就 要 新 建 一 个 FaceTracker 取 而 代 之 。 上 有 具体 代码 如 下 : 


if (skeleton.TrackingId!=trackedIiD| |faceTracker==null) 


faceTracker = new FaceTracker (kinectSensor).; 
trackedID=skeleton.TrackinglId; 
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然后 调用 FaceTracker Track 传 人 原始 数据 并 获得 识别 结果 。 FaceTrackFrame 类 记录 
了 当前 帧 的 识别 结果 ， 其 中 包含 了 上 一 市 中 提 到 的 全 部 数据 。 这 里 为 了 便于 实现 , 仪 显示 了 人 脸 
包围 盒 : 


FaceTrackFrame frame = faceTracker.Track (colorIimageFormat, colorImage, 


depthImageFormat, depthIimage, skeleton); 
Canvas.SetLeft (Face, frame.FaceRect .Left).; 
Canvas.SetTop (Face, frame.FaceRect.Top); 
Face.Height = frame.FaceRect.Height; 
Face.Width = frame.FaceRect .Width.; 
break; 


为 本 配合 这 段 代码 ， 需要 在 主页 面 加 入 相应 的 Canvas 和 Rec tangl e 控 件 ， 以 及 用 于 验证 识 
别 结果 并 显示 彩色 图 的 Image 控 件 。 主 程序 的 布局 文件 如 下 : 


<Window x:Class="FaceTest .MainWindow" 
xmlns="http://schemas.microsoft.com/winfx/2006/xaml /presentation" 
xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml'" 
Title="MainWindow" Height="480" Width="640" Loaded="Window_ Loaded"> 
<Grid Name="MainGrid" 

Wiqdth="640" 
Height="480"> 

<Image Name="ColorIimage"/> 

<Canvas Height="480" 

HorizontalAlignment="Left" 


Name="canvasl1" 

VerticalAlignment="Top" 

Width="640"> 
<Rectangle Canvas.Left="0" 


Canvas .Top="0" 
Height="100" 
Name="Face" 
Stroke="Yellow" 
Width="200" 
StrokeThickness="5" /> 
</Canvas> 
</Grid> 
</Window> 


最 后 ， 在 OnAl11FramesReady () 困 数 中 加 入 更 新 彩色 图 的 语句 : 


ths.ColorImade.Source = BitmapSource.Create(colorIimageFrame .Width, 
colorIimageFrame.Height, 96, 956, 
PixelFormats .Bgr32, null, 
colorIimage, 
colorIimageFrame .Width * 
colorIimageFrame .BytesPerPixel); 


至 此 ， 这 个 Face Tracking 演 示 程 序 就 全 部 完成 了 ， 它 可 以 实时 地 识别 出 图 像 中 的 人 脸 并 用 方 
框 轿 出 ， 其 运行 效 末 如 图 7-22 所 示 。 
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图 7-22 ”Face Tracking 样 例 程序 运行 效果 


7.5 ”小结 


总 体 上 讲 ，Kinect for Windows Developer Toolkit 中 包含 的 这 两 个 工具 都 具有 极 强 的 实用 性 。 
对 于 Kinect 开 发 者 而 言 ，Kinect Studio 无 疑 是 一 个 革命 性 的 里 程 碑 。 这 种 记录 和 回放 功能 将 Kinect 
应 用 的 测试 流程 标准 化 ， 通 过 将 一 段 测试 动作 记录 下 来 并 生成 测试 用 例 ， 就 可 以 批量 化 地 进行 
Kinect 应 用 测试 了 。 同 时 ,程序 员 们 也 摆脱 了 “一 人 调试 ,一 人 操作 ”的 调试 模式 。 从 此 ，Kinect 
应 用 开发 进入 了 标准 化 、 便 捷 化 的 时 代 。 

男 一 方面 ， 新 增 的 Face Tracking SDK 弥 补 了 之 前 SDK 对 人 体 头 部 识别 的 细节 缺失 ， 可 以 准确 
地 识别 出 人 脸 的 特征 点 位 置 并 组 成 人 脸 模型 ， 同 时 还 提供 了 Candide3 模 型 的 参数 ， 让 开发 者 可 以 
用 最 简单 的 代码 开发 出 功能 丰富 的 人 脸 应 用 。 相 信 Face Tracking 的 脸 部 识别 功能 ， 将 会 掀起 又 一 
波 Kinect 开 发 热 泣 ， 可 以 期 竺 不 久 后 即将 清 现 出 一 批 更 加 优秀 的 应 用 。 


KInect 早 


在 微软 的 开源 工程 网 站 CodePlex( http://www.codeplex.com ) 上 可 以 找到 一 些 专门 为 Kinect for 
Windows SDK 编 写 的 扩展 类 库 。 目 前 比较 成 误 的 有 两 个 : 一 个 是 Coding4Fun Kinect Toolkit 
( http://c4fkinect.codeplex.com ); 另 一 个 是 Kinect Toolbox ( http://kinecttoolbox.codeplex.com )。 使 
用 这 些 类 库 提 供 的 拓展 方法 可 以 大 幅 提 高 开发 效率 , 省 去 很 多 开发 成 本 , 因此 很 有 必要 在 这 里 回 


大 家 介绍 一 下 O 


8.1 


Coding4Fun Kinect Toolkit 开 源 类 库 为 Kinect for Windows SDK 提 供 了 


Coding4Fun Kinect Toolkit 介 


J] 
绍 


一 系列 的 扩展 方法 ， 距 


有 基于 WPF 框 架 的 , 也 有 基于 WinForm 框 架 的 ， 本 书 将 者 重 介 绍 基 于 WPF 框 染 的 扩展 。 在 官网 下 
载 Coding4Fun Kinect Toolkit， 然 后 用 诬 加 引用 的 方法 将 “Coding4Fun.Kinect.Wpfdll” 这 加 到 工 
程 中 ， 最 后 在 代 人 码头 中 添加 对 命名 空间 的 引用 ， 这 样 就 可 以 调用 库 中 的 扩展 方法 了 。 


8.1.1 基于 图 像 数 据 的 扩展 方法 


目前 ， 基 于 图 像 数 据 的 扩展 方法 如 表 8-1 所 示 。 


表 8-1 


ImageFrame.ToBitmapSource() 


returns BitmapSource 


int[] .ToBitmapSource() 


returns BitmapSource 


int[] .ToBitmapSource (int width, int height, 
int minimumDistance, Color highlightColor) 


returns BitmapSource 


Coding4Fun 图 像 数据 扩展 方法 


功能 描述 
ColorImageFrame 类 的 扩展 方法 ,将 ColorImageFrame 


或 DepthImageFrame 对 象 转化 为 BitmapSource 


对 象 
用 于 将 深度 数据 数组 转化 为 BitmapSource 类 型 


通过 设置 宽 、 高 、 最 小 距离 和 颜色 ,将 次 度数 据 数组 转 
化 为 BitmapSource 类 型 
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EE 数 功能 摘 述 
ImageFrame.ToDepthArray () 将 DepthImageFrame 类 型 的 数据 转化 为 整 型 数组 
returns int[] 数据 


int[] .GetMidpoint (int startx, int startY, 获取 深度 图 像 中 制定 区 域 的 中 心 点 坐标 
Int endx, int endY, int minimumDistance) 


returns Point 


BitmapSource.Save(string fileName,，，ImageFormat 保存 图 像 信 息 
format) 


returns nothing 


使 用 上 述 方法 ,就 可 以 将 实例 1 中 的 图 像 处 理 代 人 码 改 号 为 : 


private void kinectSensor ColorFrameReady (object sender., 
ColorImageFrameReadyEventArgs e) 


Using (ColorIimageFrame imageFrame = e.OpenColorImageFrame()) 
{ 
if (imageFrame != null) 
{ 
// 设 置 图 片 
this.ColorIimage.Source = imageFrame.ToBitmapSource(); 


} 
可 以 看 到 , 使 用 了 Coding4Fun 的 函数 , 将 原本 烦琐 的 图 像 设置 缩减 到 了 一 行 简 单 的 函数 调用 
| O 〇 
男 外 ， 使 用 Coding4Fun Kinect Toolkit 库 中 的 扩展 方法 ,还 可 以 将 实例 2 中 的 深 度 图 像 处 理 代 
人 码 改 写 为 : 


const int minDistance = 10; 
private void kinectSensor DepthFrameReady (object sender., 
DepthImageFrameReadyEventArgs e) 


using (DepthIimageFrame depthIimageFrame = e.OpenDepthIimageFrame()) 
{ 
if (depthIimageFrame != null) 
{ 
// 将 深度 图 数据 复制 到 数组 中 
pixelData = new intldepthIimageFrame.PixelDataLength]; 
pixelData = depthIimageFrame.ToDepthArray (); 


// 设 置 带 最 小 深度 限制 的 深度 图 
this.DepthIimage.Source = pixelData.ToBitmapSource (depthIimageFrame .Width, 
depthImageFrame.Height, minDistance, Colors.Yellow); 
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同 彩 色 图 一 样 ，Coding4Fun 函 数 也 简化 了 深度 图 的 设置 语句 , 同时 还 附带 了 最 小 深度 值 限制 
的 功能 ， 避 免 出 现 因为 距离 太 近 或 者 太 远 而 导致 深度 图 空白 情形 。 
8.1.2 基于 骨骼 数据 的 扩展 方法 


Coding4Fun 也 提供 了 骨骼 数据 的 扩展 操作 ， 在 之 前 5.4 市 的 实例 3 中 ， 我 们 已 经 使 用 过 了 
ScaleTo () 图 数 ， 其 详细 说 明 如 表 8-2 所 示 。 


表 8-2 ”Coding4Fun 基 于 骨骼 数据 的 扩展 方法 


EE 数 功能 描述 
Joint .ScaleTol(int width, int height) 将 原始 骨髓 数据 中 x、Y 的 值 从 (-1, 1) 转 化 为 (0，wigdtn) 和 
(0, height) 


Joint.ScaleTo(int width, int height, 功能 同上 一 水 数 ， 其 中 maxSkeletonX 和 maxSkeletonY 
float maxSkeletonXxX, float maxSkeletonyY) 了 
分 别 代表 原始 数据 中 X、Y 的 最 大 值 


经 过 这 几 个 例子 我 们 可 以 看 到 ,利用 Coding4Fun Kinect Toolkit 库 中 提供 的 函数 ,我 们 可 以 简 
化 一 些 和 常用 的 代码 ,把 原来 需要 的 数 行 代码 缩减 到 一 行 ， 这 极 大 提高 了 应 用 开发 的 效率 。 相 信 以 
后 该 类 库 还 会 添加 更 多 简化 开发 的 功能 ， 供 开发 者 使 用 。 


8.2 Kinect Toolbox 类 库 


虽然 Kinect SDK 能 够 识别 出 人 体 骨 骼 点 的 位 置 , 但 要 将 其 转化 成 对 应 的 姿态 以 及 手势 仍然 需 
要 进行 一 些 识别 计算 。 大 多 数 Kinect 必 用 都 需要 完成 识别 过 程 ， 因 此 这 一 部 分 也 成 为 Kinect 开 发 
过 程 中 重复 频率 最 高 的 部 分 。 于 是 , 设计 一 个 松 看 合 、 功 能 完全 、 定制 性 高 且 可 重用 的 识别 框 染 ， 
对 众多 Kinect 开 发 者 是 十 分 必要 的 ， 这 也 是 大 家 绞 尽 脑汁 想 要 做 的 事情 。 在 CodePlex 网 站 上 ， 很 
多 开发 者 都 发 布 了 目 己 的 识别 框架 ， 其 中 应 用 最 为 广泛 的 是 Kinect Toolbox 类 库 。 本 市 将 介绍 这 
个 类 库 的 主要 功能 。 


8.2.1 Kinect Toolbox 简介 


Kinect Toolbox 项 目 主页 上 把 自己 定位 为 一 个 基于 Kinect For Windows SDK 的 辅助 开发 工具 
集 ， 其 最 主要 的 功能 是 为 Kinect 开 发 提供 一 些 常用 的 识别 过 程 ， 比 如 人 体 静 态 姿 态 识别 、 定 点 轨 
迹 识 别 (手势 识别 )、 霹 音 识别 以 及 辅助 调试 等 。 其 中 的 每 种 识别 都 可 以 分 为 算法 识别 和 模板 识 
别 , 即 通过 识别 函数 和 模板 数据 加 以 判别 。 Kinect 的 入 门 开 发 者 可 以 使 用 这 个 类 库 跳 过 识别 过 程 ， 
将 重点 放 在 其 他 核心 功能 上 ， 从 而 市 省 开发 成 本 。 

同时 它 提 供 的 辅助 调试 功能 也 极为 强大 ， 可 以 直接 在 WPF 男 布 上 绘制 骨 铝 图 、 骨 骨 帧 记录 ， 
调整 价 、 仰 角 等 。 

丁 将 分 步 介 绍 如 何在 程序 中 调用 Toolbox 完 成 识别 功能 ， 并 处 理 其 返回 事件 以 及 增加 目 定 
义 姿 态 。 相 关 源 代码 及 讨论 可 以 查看 此 项 目 主页 http:/kinecttoolbox.codeplex.com。 
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图 8-1 Kinect Toolbox 运 行 示 意图 


8.2.2 人体 姿态 识别 


Toolbox 提 供 的 最 为 稳定 的 识别 方式 是 骨骼 静态 姿态 识别 ， 通 过 固定 函数 判断 和 模板 匹配 的 
方法 对 每 一 帧 的 骨骼 点 静态 姿势 进行 判断 ， a 手册 地 侧 平 举 等 。 接 下 来 我 们 将 练习 在 一 个 
新 建 工 程 中 调用 此 功能 。 

1. 创建 测试 窗 体 并 添加 引用 

首先 要 创建 一 个 新 的 WPF 项 目 ， 如 图 8-2 所 示 。 


.NET Framework 4  v | 排序 依据 : = | 搜索 已 安装 的 模板 内 
二 类型: Visual C# 


Windows Presentation Foundation 客 


户 端 应 用 程序 


已 安装 的 模板 
Windows 窗 体 应 用 程序 Visual C# 
Visual Basic 
4 Visual C# 
Windows 
Web 
Office 
Cloud 
Reporting 
SharePoint 
Silverlight 
WCF 
Workflow 
XNA Game Studio 4.0 
测试 
Visual C++ 
Visual F# 
其 他 项 目 类 型 


WPF 应 用 程序 Visual C# 


EL 


控制 台 应 用 程序 Visual C# 


ASP.NET Web 应 用 程序 Visual C# 


3 


册 
人 


类 库 Visual C# 


名 | 


hn 
Sa 


ASP.NET MVC 2 Web 应 用 程序 Visual C# 


Silverlight 应 用 程序 Visual C# 
Silverlight 类 库 Visual C# 


WCF 服务 应 用 程序 Visual C# 


$ 旭 | | 刘 


ASP NFT Dvnarnir Data 守 休 Weh 应 田 程 育 Visual (# et 
ToolboxTest 


dooumentaiwisual studio 2010\Projects Md 


ToolboxTest 


图 8-2 ”在 Visual Studio 2010 中 新 建 测试 项 目 
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读者 可 以 在 Toolbox 官 网 下 载 最 新 的 源 代码 ( 在 http://kinecttoolbox.codeplex.com/SourceControl/ 
list/changesets 页 面 有 其 版 本 更 新 列表 )， 并 在 解决 方案 中 加 入 这 一 项 目 ( 使 用 右键 添加 现 有 项 目 ， 
选择 Kinect.Toolbox.csproj )， 如 图 8-3 所 示 。 


解决 方案 资源 管理 器 vx 


下 加 | 国 


r, ColorImageFraneReadyEventhrgs e) es = 
| 生成 解决 方案 (B) Ctrl+Shift+B 二 梧 
重新 生成 解决 方案 (R) 
清理 解决 方案 (C) 
配置 管理 右 (O 〇 ).. 
WwW,Gestures,cs 
计算 代码 度量 值 ( 〇 ) 
w.Postures,cs 
项 目 依 赖 项 (S)... w.Record.cs 
项 目 生 成 顺序 上 四.… WwW.Voice.cs 
新 结 项 目 (N).、 添 jn(D) w.xaml 一 
ndow.xaml.cs 
现 有 项 目 (E).. 设置 启动 项 目 (A)... 
新 建 网 站 (W)... 到 [9 ”联机 (O) 
现 有 网 站 (B).… 也。 粘贴 (p) Ctrl+V 
“新建 项 (wW).… Ctrl+Shift+A 重 命 名 (M) 
了 。 和 achine 
二 现 有 项 (G@).… Shift+Alt+A | 在 Windows 资源 管理 器 中 打开 文件 夫 (X) 
| 新 建 解 决 方案 文件 夫 (D) 名 ”属性 (R) Alt+Enter 


下 
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图 8-3 ”添加 Toolbox 项 目 


然后 在 主 项 目 中 添加 对 Toolbox 的 引用 ， 单 击 右键 添加 ， 选 择 Kinect Toolbox ， 如 图 8-4 所 示 。 


oo 添加 引用 站 名 


DIS 日 常 工作 \kinect\kinect toolbox\Kinect.Toolkit 


图 8-4 添加 对 Toolbox 的 引用 


在 接 下 来 的 几 节 中 ， 我 们 都 将 利用 这 个 WPF 窗 体 来 完成 Toolbox 类 库 的 测试 以 及 实验 。 
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2. Kinect 初 始 化 
在 调用 Kinect Toolbox 进 行 识 别 之 前 ,应 该 先 完成 Kinect 设 备 的 初始 化 ,这 在 之 前 的 章节 中 已 
经 做 过 讲解 ， 这 里 只 将 代码 列 出 : 


private void Window Loadedq(object sender, RoutedEventArgs e) 


{ 


try 
{ 


KinectSensor.KinectSensors.StatusChangeqd += Kinects_ StatusChanged; 


foreach (KinectSensor kinect in KinectSensor.KinectSensors) 


{ 


if (kinect.Status == KinectStatus.Connected) 
{ 
kinectSensor = kinect; 
break; 
} 
} 
if (KinectSensor.KinectSensors.Count == 0) 
MessageBox.Show("No Kinect found"); 
else 
Initialize(); 


) 


catch (Exception ex) 


{ 


MessageBox.Show (ex.Message); 
J 
} 


private void Initialize!() 


{ 
if (kinectSensor == null) 
return; 


kinectSensor.SkeletonStream.Enable(new TransformSmoothParameterst 
Smoothing = 0.5f, 
Correction = 0.5f, 
Prediction = 0.5f, 
JitterRadius = 0.05f, 
MaxDeviationRadius = 0.04f 


}); 


kinectSensor.SkeletonFrameReady += kinectRuntime SkeletonFrameReady:; 


kinectSensor.Start():; 


3. 初始 化 相应 类 库 

Toolbox 的 每 个 功能 都 被 整合 在 独立 的 类 中 ， 有 > 别 调 用 即 可 。 其 中 ， 毅 态 姿态 识别 过 
程 需 要 在 每 一 帧 骨骼 图 回调 中 进行 处 理 。 同时 , 还 需 使 用 一 个 辅助 类 5arycenterHelper 来 判断 
骨骼 的 稳定 状态 ， 所 以 要 先 加 入 这 ns 
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readonly BarycenterHelper barycenterHelper = new BarycenterHelper () ; 
readonly AlgorithmicPostureDetector algorithmicPostureRecognizer = 
new AlgorithmicPpostureDetector(); 


4. 将 骨骼 数据 传 入 Toolbox 并 获取 识别 结 
接 下 来 ， 需 要 完成 核心 的 骨骼 回调 晒 数 ， 其 具体 代码 如 下 : 


Vold kinectRuntime SkeletonFrameReady (object sender, SkeletonFrameReadyEventArgs e) 


{ 


using (SkeletonFrame frame = e.OpenSkeletonFrame()) 
{ 
if (frame == null) 
return; 


Tools.GetSkeletons (frame, ref skeletons); 
if (skeletons.All(s => s.TrackingState == SkeletonTrackingState.NotTracked)) 


return; 


ProcessFrame (frame); 


} 


VOid ProcessFrame (ReplaySkeletonFrame frame) 


{ 


foreach (var skeleton in frame.Skeletons) 


{ 


if (skeleton.TrackingState != SkeletonTrackingState.Tracked) 

continue; 
barycenterHelper.Add(skeleton.Position.ToVector3(), skeleton.TrackingId); 
if (!barycenterHelper.IsStable(skeleton.TrackingId)) 

return; 


foreach (Joint JjJoint in skeleton.Joints) 


{ 
if (joint.TrackingState != JointTrackingState.Tracked) 


continue; 


} 


algorithmicPostureRecognizer.TrackPostures (skeleton).; 
templatePostureDetector.TrackPostures (skeleton); 


CurrentPosture.'Text = 
"Current posture: " + algorithmicPostureRecognizer.CurrentPosture; 


} 

为 Toolbox 只 能 对 合法 的 骨骼 数据 进行 识别 , 所 以 要 在 传人 前 进行 骨骼 数据 的 合法 性 判断 。 
同时 ， 为 了 消除 抖动 对 识别 的 影响 ， 还 要 将 不 稳定 的 骨骼 数据 移 除 。 具 体 的 方法 如 下 。 

(1) 判断 骨骼 数据 的 合法 性 

在 之 前 的 章节 中 已 经 讲解 过 kinectRunt ime_SkeletonFrameReadqv 困 数 ,每 当 Kinect SDK 
得 到 一 帧 骨 澡 数据 的 时 候 ， 就 会 调用 这 个 函数 进行 处 理 。 因 此 , 我们 应 完 确保 这 一 帧 数据 不 是 空 
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贴 ， 如 果 是 空 帧 则 不 应 该 进行 下 一 步 处 理 : 


if (frame == null) 
return; 


如 条 这 一 帧 的 数据 不 为 空 ， 那 驶 要 检查 其 中 是 否 有 跟踪 到 的 骨骼 ， 如 朱 没 有 ， 也 应 该 返回 : 


Tools.GetSkeletons (frame, ref Skeletons ) ; 


if (skeletons.All(s => s.TrackingState == SkeletonTrackingState.NotTracked)) 
return; 


这 里 的 Tools 是 Toolbox 提 供 的 一 个 工具 类 , Getskeletons 可 以 从 一 帧 骨骼 数据 中 提取 全 部 
的 骨骼 ， 并 将 它们 放 入 一 个 数组 。 如 果 能 通过 以 上 两 步 检 验 , 则 表明 该 帧 数据 中 存在 需要 分 析 的 
上 骨骼， 程序 进入 ProcessFrame 方 法 。 

(2) 判断 骨骼 是 否 稳定 

骨骼 稳定 性 的 判断 是 由 barycenterHelper 类 来 完成 的 。 人 处理 时 , 应 先 传人 数据 ,再 判断 其 
稳定 性 ， 如 采 不 稳定 ， 则 不 应 该 继续 处 理 : 


barycenterHelper.Add (skeleton.Position.ToVector3(), skeleton.TrackingId); 
if (!barycenterHelper.IsStable(skeleton.TrackingId)) 
return; 


需要 注意 的 是 ， 在 传人 参数 时 ， 要 将 骨骼 的 rrackingIdq 一 并 传人 。 
(3) 将 骨 铝 数据 传人 姿态 识别 框架 
同样 地 ， 姿 态 识别 也 要 将 整体 骨骼 数据 传 入 姿态 识别 框架 . 


algorithmicPostureRecognizer.TrackPostures (skeleton); 
templatePostureDetector.TrackPostures (skeleton).; 


但 不 同 的 是 , 姿态 的 识别 结 末 并 不 是 以 事件 回调 的 方式 返回 ,而 是 通过 一 个 异步 的 状态 来 表 
示 当 前 的 人 体 姿 态 ， 我 们 可 以 直接 调用 这 个 方法 来 获取 结果 : 


CurrentPpPosture.'Text = 


"Current posture: " + algorithmicPostureRecognizer.CurrentPosture; 
最 后 ， 需 要 在 wpf 窗 体 上 新 建 一 个 名 为 currentPosture 的 Label 的 控件 来 显示 识别 结 


<Label Content=" " 
Height="28" 
HorizontalAlignment="Left" 
Margin="118,12,0,0" 
Name="currentPosture" 
VerticalAlignment="Top" /> 


运行 程序 ， 当 左手 举 过 头顶 时 ， 系 统 会 识别 出 此 时 的 人 体 姿 态 为 LeftHandOverHead。 至 此 ， 
我 们 就 完成 了 静态 姿态 类 库 的 全 部 识别 过 程 。 


8.2.3 ”手势 识别 


与 静态 姿态 识别 不 同 , 手势 识别 表示 的 是 连续 的 动作 ,因此 其 识别 算法 也 要 针对 连续 帧 的 骨 
散 数 据 进行 处 理 ,但 它们 之 间 也 有 一 个 相同 点 , 即 手势 识别 也 分 为 算法 判断 和 模板 匹配 两 种 方法 。 


8.2 ”Kinect Toolbox 类 库 73 


下 面 以 算法 判断 为 例 , 识别 向 左 挥手 和 向 右 挥手 的 手势 。 本 节 的 代码 是 在 上 一 节 代 码 的 基础 上 添 
加 的 。 

1. 初始 化 相应 类 库 

与 静态 识别 类 似 ， 手 势 识 别 的 算法 被 封装 在 swipeGestureDetector 类 中 ,使 用 前 需要 先 
对 其 进行 声明 。 

SwipeCGestureDetector swipeGestureRecognizer; 

然后 , 在 Initialize() 因数 中 加 入 其 初始 化 过 程 ， 因 为 需要 以 事件 回调 的 方式 返回 识别 结 
果 ， 所 以 应 该 加 入 回调 函数 注册 : 


swipeGestureRecognizer = new SwipeGestureDetector();} 
swipeGestureRecognizer.OnGestureDetected += OnGestureDetected; 


2. 传 入 数据 并 获取 识别 结果 
手势 识别 同样 需要 传人 相应 的 骨 骨 数据 ， 我 们 将 上 一 扩 ProcessFrame 的 Joint 循 环 的 代码 
修改 如 下 : 


foreach (Joint JjJoint in skeleton.Joints) 


{ 


if (joint.TrackingState != JointTrackingState.Tracked) 
continue; 
If (joint.JointType == JointType.HandRight) 


{ 


swipeGestureRecognizer.Add(Joint.Position, kinectSensor); 


】 
} 


因为 仅 需 要 识别 右手 的 挥动 状态 ,所 以 将 右手 的 骨骼 点 坐标 传人 识别 库 即 可 。 然 后 ， 需 要 完 
成 其 回调 函数 处 理 返回 的 识别 结 


VOid OnGestureDetected(string gesture) 


L 


switch (gesture) 
{ 

/* 对 不 同 的 手势 做 相应 的 处 理 */ 
} 


CurrentGesture.Text = "Current gesture: " + gesture,; 


} 

其 中 ，gesture 记 录 了 识别 的 结果 。 读 者 可 能 会 觉得 很 困惑 ， 同 样 是 返回 识别 结果 ， 为 什么 
有 的 识别 是 通过 回调 方法 来 返回 , 有 的 则 可 以 直接 通过 数据 成 员 获 得 ?这 是 因为 ,， 人体 姿态 的 识 
别 是 基于 单 帧 静态 骨骼 点 位 置 的 , 其 结果 只 能 代表 某 一 帧 的 骨骼 点 状态 , 所 以 姿态 的 识别 结果 就 
应 该 在 每 帧 中 都 进行 记录 ,， 可 以 通过 一 个 接口 来 获取 这 个 结果 。 而 手势 识别 则 不 同 , 它 是 通过 一 
段 时 间 内 右手 骨骼 点 的 运动 轨迹 来 进行 判别 的 ， 因此 其 识别 结果 的 含义 为 “之 前 一 段 时 间 内 做 了 
某 一 手势 "， 这 是 一 个 需要 响应 的 即时 事件 ， 所 以 通过 回调 方法 来 处 理 。 

最 后 ， 仍 然 要 在 wpf 徐 体 上 新 建 一 个 名 为 currentGesture 的 Label 控 件 来 显示 识别 结果 : 
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<Label Content=" " Height="28" 
HorizontalAlignment="Left" 
Margin="118,50,0,0" 
Name="currentGesture" 
VerticalAlignment="Top" /> 


运行 程序 ， 回 右 挥动 右手 时 ， 系 统 可 以 识别 出 SwipeToRight 和 手势 。 至 此 ， 我 们 就 完成 了 全 部 
的 手势 类 库 的 识别 过 程 。 


8.2.4 模板 识别 


前 面 提 到 的 两 种 算法 识别 都 是 通过 固定 的 函数 对 单 帧 或 者 多 帧 的 数据 进行 硬性 判断 , 符合 条 
件 的 才 会 被 识别 为 对 应 的 姿态 和 手势 。 这 种 方法 实现 简单 ， 但 是 缺乏 适应 性 ， 比 如 
LeftHandOverHead 这 一 姿态 ， 只 有 在 手 骨 骼 点 Z 轴 坐标 与 头骨 骼 点 Z 轴 坐标 之 差 大 于 固定 的 gap 值 
时 才能 被 识别 ， 而 人 的 体型 不 尽 相 同 ， 对 于 一 些 臂 短 的 人 ， 即 便 手 举 过 头顶 ， 可 能 仍 无 法 满足 这 
一 条 件 。 这 就 需要 我 们 用 男 一 种 方法 来 进行 姿态 和 手势 识别 ， 即 模板 匹配 。 

Toolbox 提 供 了 这 两 种 识别 方式 对 应 的 模板 匹配 类 库 , 以 及 圆 形 手 势 和 T 型 姿态 的 模板 用 于 测 
试 ， 下面 我 们 将 实现 这 两 种 算法 ,仍然 在 上 一 市 代码 的 基础 上 进行 修改 。 

1. 初始 化 模板 库 

首先 ， 在 程序 开头 添加 所 需 类 库 的 声明 : 


TemplatedPostureDetector templatePostureDetector; 
TemplatedGestureDetector circleGestureRecognizer; 


其 中 ， templatePostureDetector 为 T 型 姿态 识别 类 ， circleGestureRecognizer 为 加 
形 手势 识别 类 。 
然后 ， 在 初始 化 函数 中 添加 它们 的 初始 化 过 程 : 


circleKBpPath = Path.Combine (Environment.CurrentDirectory, @"data\circleKB.save"); 
letterT KBPath = Path.Combine (Environment.CurrentDirectory, @'"data\t KB.save"); 


USing (Stream recordStream = File.Open(circleKBPath, FileMode.OpenOrCreate)) 

{ 
circleGestureRecognizer = new TemplatedGestureDetector("Circle", recordStream); 
circleGestureRecognizer.OnGestureDetected += OnGestureDetected; 

} 


templates.ItemsSource = circleGestureRecognizer.LearningMachine.Paths; 


USing (Stream recordStream = File.Open(letterT KBPath, FileMode.OpenOrCreate)) 
{ 
templatePostureDetector = new TemplatedPostureDetector("T", recordStream).; 
templatePostureDetector.PostureDetected += templatePostureDetector PostureDetected; 
} 


postures.ItemsSource = templatePostureDetector.LearningMachine.Paths; 


由 于 Toolbox 将 每 一 个 模板 部 存储 到 了 文件 中 ， 因 此 需要 先 读 取 相 应 的 模板 文件 ， 并 将 其 关 
联 到 对 应 的 类 库 中 : 
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circleKBPath = Path.Combine(EnvZIronment .CurrentDirectory, @'"data\circleKB.save"); 
usSing (Stream recordStream = File.Open(circleKBPath, FileMode.OpenOrCreate)) 
{ 


circleGestureRecognizer = new TemplatedGestureDetector("Circle", recordStream); 


Using (Stream recordStream = File.Open(letterT KBPath, FileMode.OpenOrCreate)) 
{ 
templatePostureDetector = new TemplatedPostureDetector("T", recordStream).; 


} 
同时 ， 这 两 个 类 库 也 是 以 时 间 回 调 机 制 来 返回 识别 结果 的 ， 因 此 需要 先 注 册 两 个 回调 函数 : 


circleGestureRecognizer.OnGestureDetected += OnGestureDetected; 
templatePostureDetector.PostureDetected += templatePostureDetector_ PostureDetected; 


为 外 需要 注意 的 是 ， 手 势 和 姿态 的 模板 识别 部 需 要 机 带 学 习 库 ，Toolbox 提 供 了 一 个 上 默 认 的 


学 习 库 以 方便 调用 。 我 们 仅仅 需要 设置 对 应 的 参数 即 可 。 


templates.ItemsSource = circleGestureRecognizer.LearningMachine.Paths,; 
postures.ItemsSource = templatePostureDetector.LearningMachine.Paths; 


2. 传 入 数据 并 获取 识别 结果 

与 前 两 节 提 到 的 传人 数据 方法 类 似 ， 需 要 对 ProcessFrame 图 数 进行 修改 ， 代 码 如 下 : 
VOid ProcessFrame (ReplaySkeletonFrame frame) 

{ 


foreach (var skeleton in frame.Skeletons) 


{ 


if (skeleton.TrackingState != SkeletonTrackingState.Tracked) 

continue; 
barycenterHelper.Add(skeleton.Position.ToVector3(), skeleton.TrackingId); 
if (!barycenterHelper.IsStable(skeleton.TrackingId)) 

return; 


foreach (Joint JjJoint in skeleton.Joints) 


( 


if (joint.TrackingState != JointTrackingState.Tracked) 
continue; 
If (joint.JointType == JointType.HandR1ight) 


{ 


circleGestureRecognizer.Add(joint.Position, kinectSensor);} 


templatePostureDetector.TrackPostures (skeleton); 


| 


在 上 述 代 码 中 ， 原 有 的 静态 姿态 识别 以 及 手势 识别 类 库 被 更 换 为 对 应 的 模板 类 库 。 
接 下 来 ， 完 成 其 回调 函数 以 处 理 识别 结 
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Vold teplatePostureDetector_ PostureDetected(string posture) 
{ 
MessageBox.Show("Give me a....... " + posture).; 


} 


Vold OnGestureDetected(string gesture) 
{ 
MessageBox.Show("Give me ad....... " + gesture); 


} 
其 中 ,posture 和 gesture 表 示 了 识别 的 结果 。 至此， 我们 就 完成 了 全 部 的 模板 类 库 的 识别 


8.2.5 ”语音 识别 


尽管 Kinect 提 供 了 麦克 风 阵 列 ， 前 面 的 章节 也 讲解 了 在 SDK 中 调用 Speech API 进 行 语音 识别 
的 方法 。 但 在 实现 这 一 功能 时 仍 会 用 到 一 些 重复 性 的 代码 ， 本 节 将 利用 Toolbox 类 库 来 徐 化 这 一 
过 程 。 

1. 初始 化 语音 库 

语音 识别 库 的 初始 化 与 Toolbox 的 其 他 组 件 类 似 : 


VoiceCommander voiceCommander:; 


voiceCommander = new VoiceCommander ("record", "stop");} 
VoliceCommander.OrderDetected += VvoiceCommander OrderDetected; 


可 以 看 到 , 这 个 语音 识别 库 的 使 用 方法 非常 简便 ， Voicecommangder 类 的 初始 化 参数 就 是 需 
要 进行 识别 的 “字典 ”。 而 后 面 则 只 需 诺 加 结 采 回调 方法 的 绑 定 。 

2. 识别 结果 回调 方法 

和 手势 识别 的 结果 回调 类 似 ， 语 音 识别 结果 的 回调 也 使 用 了 switch 语句 ， 对 不 同 的 结果 做 
出 不 同 的 啊 应 。 


Vold voiceCommander OrderDetected(string order) 


{ 


Dispatcher.Invoke (new Action(() => 
{ 

switch (order) 

{对 应 不 同 的 识别 结果 进行 相应 的 处 理 } 
})); 


8.2.6 ”添加 目 定义 姿态 


在 运行 之 前 完成 的 代码 时 ， 我 们 会 发 现 当前 程序 只 能 识别 出 Toolbox 预 先 编写 的 几 个 姿势 和 
手势 , 这样 肯定 无 法 满足 不 同 的 应 用 需求 。 因 此 在 本 市 中 , 我 们 将 尝试 在 原 有 框架 的 基础 上 添加 
一 个 新 的 姿态 识别 。 

以 通过 固定 算法 识别 人 体 姿 态 为 例 , 首先 打开 原 有 框架 中 的 Postures\AlgorithmicPostureDetectorcs 
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文件 ， 其 代码 如 下 : 


USing System ， 
usSing Kinect.Toolbox.Record; 
USing Microsoft.Research.Kinect.Nui; 


namespace Kinect.Toolbox 
{ 
public class AlgorithmicPostureDetector : PostureDetector 
{ 
const float Epsilon = 0.1f; 
const float MaxRange = 0.25f; 
public AlgorithmicPostureDetector() : base(10) 
{ 
} 
public override void TrackPostures (ReplaySkeletonData skeleton) 
{ 
if (skeleton.TrackingState != SkeletonTrackingState.Tracked) 
return; 
Vector3? headPosition = null; 
Vector3? leftHandPosition = null; 
Vector3? rightHandPosition = null; 
foreach (Joint JjJoint in skeleton.Joints) 
{ 
if (Joint,Position.W < O08£€ || 
joint.TrackingState != JointTrackingState.Tracked) 
continue; 


switch (joint.ID) 
{ 
case JOintID.Head: 
headPosition = joint.Position.ToVector3(); 
break; 
case JOinNntID.HandLeft: 
leftHandPosition = joint.Position.ToVector3(); 
break; 
case JOintID.HandRight: 
rightHandPosition = joint.Position.ToVector3(); 
break; 


// HandsJoined 


if (CheckHandsJoined (rightHandPosition, leftHandPosition)) 
return,; 


// LeftHandOverHead 
if (CheckHandOverHead (headPosition, leftHandPosition)) 
{ 

RalisePostureDetected("LeftHandOverHead"); 

return; 


{逐个 判断 各 个 姿态 } 
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Reset(); 
} 


bool CheckHandOverHead (Vector3? headPosition, Vector3? handPosition) 
{ 
if (!handPosition.HasValue || !headPosition.HasValue) 
return false; 


if (handPosition.Value.Y < headPosition.Value.Y) 
return false; 


if (Math.Abs (handPosition.Value.X - headPosition.Value.X) > MaxRange) 
return false; 


if (Math.Abs (handPosition.Value.z - headPosition.Value.2) > MaxRange) 
return false; 


return true; 


} 
{其 他 姿态 判别 函数 } 


} 

其 中 ，AlgorithmicPostureDetector 类 就 是 Toolbox 中 负责 以 固定 算法 判别 姿态 的 框架 。 
它 的 识别 过 程 很 简单 , 首先 提取 姿态 判别 所 需 的 上 骨骼 点 坐标 , 然后 按 顺 序 对 每 一 个 姿态 进行 识别 ， 
如 果 识 别 结果 为 真 , 即 当 前 骨骼 数据 符合 该 姿态 的 要 求 ,那么 就 认为 该 姿态 为 当前 人 体 姿 态 ， 结 
束 识别 过 程 。 我 们 的 自 定义 姿态 一 一 癌 前 伸 出 手臂 ， 也 将 按照 这 种 方式 添加 。 

回 前 伸 出 手臂 的 判定 条 件 很 简单 ， 如 果 右 肩 骨 骼 点 的 Z 坐 标 与 右手 骨骼 点 的 Z 坐 标 之 差 大 于 
固定 阔 值 ， 即 可 认定 右手 已 经 向 前 伸 出 ; 左手 同 理 。 因 此 相 比 原 有 框架 ， 需 要 再 多 记录 两 个 肩膀 
的 骨髓 点 坐标 : 

case JOointID.ShoulderLeft: 

leftShoulder = JjJoint.Position.ToVector3();} 
break; 

case JOoOintID.ShoulderRight: 


rightShoulder = JjJoint.Position.ToVector3(); 
break; 


与 LeftHandOverHead 的 判定 结果 类 似 , 将 两 个 伸 出 手臂 的 判定 浴 加 到 顺序 识别 过 程 中 。 这 里 
要 注 意 两 只 手 同时 伸 出 的 情况 : 


// HandsReachout 

bool leftHandReachout = CheckHandReachout (leftHandPosition, leftShoulder); 
bool rightHandReachout = CheckHandReachout (rightHandPosition, rightShoulder).; 
if (leftHandReachout&&rightHandReachout) 

{ 


RalisePostureDetected("BothHandReachout"),; 
return; 

} 

else if (leftHandReachout) 
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RaisePostureDetected ("LeftHandReachout").: 
return; 


} 
else if (rightHandReachout) 


{ 
RaisePostureDetected("RightHandReachout").; 
return,; 


} 
最 后 ， 我 们 要 完成 checkHandReachout 函 数 ， 使 用 该 函数 比较 手 和 肩膀 骨骼 点 的 位 置 并 得 
到 姿态 识别 结 来 : 


bool CheckHandReachout (Vector3? headPosition, Vector3? handPosition) 


lL 


if (!handPosition.HasValue || !headPosition.HasValue) 
return false; 
if (handPosition.Value.Zz - headqPoslition.Value.2 < ReachoutRande ) 


return false; 
return true; 


} 

需要 注意 的 是 ， 在 整个 识别 过 程 中 的 骨骼 点 坐标 数据 使 用 的 都 是 Vector3? 数 据 类 型 。 因 为 在 
骨骼 数据 中 有 可 能 存在 少量 未 被 识别 的 骨骼 点 , 此 时 是 不 能 进行 姿态 识别 的 , 所 以 要 先进 行 合法 
性 判断 。 

到 目前 为 止 ， 我 们 已 经 将 手势 、 姿 态 以 及 声音 识别 的 功能 全 部 实现 了 ， 并 且 依 靠 Toolbox 类 
库 , 市 省 了 很 多 重复 性 的 框 染 代 人 码 。 当 然 , 它 并 不 是 唯一 的 识别 库 ， 其 他 很 多 开源 识别 库 也 有 各 
目的 优点 ,这 里 仅仅 是 用 它 做 一 个 例子 ,帮助 读者 理解 手势 及 姿态 的 识别 过 程 。 其 他 识别 库 的 使 
用 方法 大 同 小 异 ， 有 兴趣 的 读者 可 以 对 其 进行 更 加 深信 的 研究 ， 这 里 就 不 作 过 多 的 介绍 了 。 


8.3 ”小结 


Coding4Fun Kinect Toolkit 和 Kinect Toolbox 这 类 第 三 方 类 库 从 功能 上 看 和 第 7 章 中 提 到 的 
Kinect Studio 和 Face Tracking SDK 类 似 ， 都 在 很 大 程度 上 人 徐 化 了 代码 的 复杂 程度 并 且 大 大 提高 了 
开发 效率 。 区别 在 于 后 者 是 由 微软 官方 提供 的 类 库 , 相 比 前 者 有 更 好 的 稳定 性 以 及 更 完整 的 文档 
说 明 。 而 使 用 第 三 方 类 库 时 最 常见 的 一 个 问题 就 是 文档 不 完整 ,其 至 没有 文档 ， 开 发 者 仪 能 通过 
阅读 源 代 码 或 者 示例 代码 来 熟悉 使 用 方法 ,较为 砍 烦 。 男 外 ， 有 可 能 在 版 本 更 迭 的 时 候 由 于 一 些 
没有 记 入 文档 的 改动 而 出 现 葛 名 其 妙 的 问题 ， 读 者 在 使 用 的 时 候 应 该 加 以 注意 。 

类 似 的 第 三 方 类 库 还 有 很 多 , 这 里 就 不 一 一 列举 了 , 读者 可 以 到 各 大 开源 社区 查看 相应 的 项 
目 主 页 目 行 学 习 。 


Kinect 实战 篇 


到 现在 为 止 ， 我 们 已 经 掌握 了 Kinect for Windows SDK 的 API 基本 调用 方法 ,但 距离 开发 
Kinect 应 用 还 有 一 段 路 要 走 。 在 开发 Kinect 应 用 时 ， 仅 凭 正确 地 调用 API 参数 是 不 够 的 ， 作 
为 实际 的 应 用 程序 ， 其 应 用 领域 、 优 劣势 以 及 用 户 体验 都 需要 开发 者 仔细 地 思考 。 同 时 ， 由 于 
Kinect 应 用 开发 疝 处 于 起 步 阶 段 ， 和 用 功能 的 类 库 还 比较 少 ， 很 多 基础 功能 的 代码 都 需要 开发 
I 

此 ,为 了 让 读者 能 够 尽快 人 门 Kinect 应 用 开发 ， 本 书 将 在 实战 篇 中 结合 大 量 的 实例 项 目 ， 
从 教育 辅助 、 文 化 保护 和 机 械 控 制 等 应 用 方面 介绍 Kinect for Windows 的 实用 开发 技巧 。 其 中 包 
含 了 Kinect 开发 中 的 常见 问题 ， 而 且 应 用 痛 景 和 项 目 切 人 点 也 具有 相当 高 的 参考 价值 。 


Kinect 虚 拟 污 示 系 统 的 实现 


如 何 跳出 动作 识别 这 一 思维 定 势 ， 并 利用 Kinect 实 现 更 有 创意 的 功能 ?” 如何 设计 出 优秀 的 交 
互 方式 ， 既 能 让 用 户 使 用 自如 ， 又 能 最 大 限度 地 降低 误 识 别 率 ?” 在 进行 Kinect 应 用 构思 时 ， 我 们 
经 常会 遇 到 这 些 问 题 ， 本 章 介 绍 的 项 目 就 很 好 地 回答 了 这 两 个 问题 。 

该 项 目 是 在 2011 年 微软 亚洲 研究 院 举办 的 “Kinect Pioneer” 大 赛 中 获得 第 一 名 的 作品 ， 它 不 
仅 巧 妙 地 使 用 Kinect SDK 提 供 的 数据 完成 了 平时 较 难 解决 的 人 体 抠 图 问题 , 而 且 在 演示 具体 的 使 
用 场景 时 还 进行 了 创新 , 设计 出 一 种 新 产 的 演示 模式 。 同 时 ,其 易于 使 用 的 整体 目 然 交互 设计 也 
是 值得 Kinect 开 发 者 学 习 和 人 研究 的 。 


9.1 虚拟 演示 系统 简介 


当下 ,“ 演 示 ” 已 经 成 为 我 们 生活 中 不 可 或 缺 的 一 部 分 ， 比 如 课 等 演示、 演讲 展示 以 及 商业 
展示 等 。 所 有 这 些 以 多 媒体 手段 作为 辅助 语言 来 进行 表达 的 行为 ,部 可 以 称 为 演示 。 我 们 平时 看 
到 的 演示 活动 大 多 使 用 约 灯 斤 作 为 内 容 的 载体 , 利用 大 屏幕 或 者 投影 仪 将 内 容 显示 出 来 ,而 演示 
人 会 在 演示 的 同时 利用 鼠标 等 控制 带 来 进行 约 灯 片 的 切换 。 因 此 , 利用 PowerPoint 软 件 制作 的 PPT 
演示 文 币 ， 宽 借 其 侧 单 的 制作 过 程 和 强大 的 功能 ， 几 乎 已 经 成 为 了 演示 的 代名词 。 

PPT 演 示 方 法 具备 很 多 优势 ， 但 在 一 些 情况 下 也 存在 缺点 。 首 和 完 ， 演讲 人 必须 依 徘 鼠 标 或 者 
其 他 控制 夯 才 能 完成 约 灯 片 的 切换 ， 频 夭 的 鼠标 操作 会 导致 演示 行为 极 不 目 然 ; 其 次 , 在 一 些 特 
殊 的 演示 场景 中 ， 比 如 远程 诛 符 、 视 频 会 议 等 ,演示 行 为 仅 能 通过 一 个 屏 噬 来 显示 ， 如 何 兼 顾 演 
讲 者 图 像 以 及 约 灯 户 图 像 束 成 了 一 个 问题 。 前 面 提 到 的 虚拟 演示 系统 就 是 为 了 解决 这 些 问题 而 出 
现 的 一 种 全 新 的 演示 方案 ， 如 图 9-1 所 示 。 注 示 者 的 图 像 谍 人 到 了 场景 中 ， 同 时 演示 者 可 以 与 场 
景 中 的 元 系 互 动 ， 比 如 抓 取 场景 中 的 星球 ， 拖 搜 并 且 放 大 等 。 

为 了 避免 频繁 的 鼠标 操作 , 该 系统 使 用 目 然 交 互 方式 代替 了 传统 交互 方式 。 演 讲 者 可 以 通过 
手势 、 姿 态 以 及 语言 来 进行 演示 内 容 的 切换 和 交互 ,这 使 得 幻灯 上 户 切 换 可 以 和 演讲 自然 地 结合 在 
一 起 。 

此 外 , 兼顾 演讲 者 以 及 约 灯 卢 岁 像 最 好 的 方式 就 是 将 人 物 图 像 抠 取出 来 , 并 放 入 演示 内 容 当 
中 。 这 样 不 仅 能 实现 “一 屏 多 用 ”， 而 且 还 可 以 表现 出 演讲 者 在 虚拟 环境 中 演讲 的 效果 (类似 于 
虚拟 演播 室 的 效果 )， 从 而 提高 观众 的 观看 体验 。 
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图 9-1 虚拟 环境 演示 系统 


9.2 技术 实现 概述 


我 们 可 以 利用 Kinect 提 供 的 数据 ， 来 实现 系统 中 最 主要 的 两 个 需求 一 一 人 物 图 像 抠 取 和 上 自然 
交互 控制 演示 内 容 。 其 中 ，Kinect SDK 提 供 的 次 度数 据 流 在 记录 每 个 像 系 次 度数 据 的 同时 ， 也 标 
记 该 像素 属于 哪 一 个 用 户 ， 并 且 这 种 标记 是 连贯 性 的 ， 可 以 持续 跟踪 用 户 。 同 时 ， 还 可 以 利用 
MapDepthToColorImagePoint 子 数 将 该 标记 对 应 到 RGB 图 像 中 ， 这 样 即 可 从 RGB 图 像 中 抠 取 
出 人 物 图 像 。 

而 自然 交互 部 分 需要 对 Kinect SDK 提 供 的 原始 骨骼 数据 进行 手势 和 姿态 识别 ， 并 通过 
Microsoft Speech API 进 行 语音 识别 ， 因 此 ， 必 须 设计 一 套 合 理 的 交互 方式 来 控制 演示 内 容 。 

同时 ， 由 于 整个 系统 的 演示 需求 已 经 超出 了 传统 PPT 所 能 达到 的 效果 ( 需要 实现 人 和 演示 内 
容 交 互 )， 所 以 需要 使 用 图 像 引 敬重 新 实现 一 个 演示 界面 ， 既 具有 幻灯 片 的 效果 ， 叉 可 以 实现 交 
互 功能 。 

本 章 会 在 后 面 几 节 重 点 分 析 上 面 提 到 的 Kinect SDK 的 两 个 功能 ， 并 列 出 相应 的 实现 代码 , 但 
不 会 对 该 项 目的 整体 架构 做 过 多 讲解 。 演示 框 架 部 分 不 是 本 书 的 重点 , 因此 仅 做 简单 介绍 。 另 外， 
该 项 目 代 码 是 基于 XNA 4.0 框 架 编写 的 , 对 XNA 不 熟悉 的 读者 可 以 先 阅 读 9.5 厄 或 者 其 他 相关 的 书 
籍 ， 初 步 了 解 XNA 框 架 的 运行 方式 ， 便 于 理解 代码 。 


84 第 9 章 Kinect 虚拟 演示 系统 的 实现 


9.3 ”利用 深 度数 据 标 侈 获取 人 物 彩 色 图 像 


我 们 将 从 这 一 市 开始 分 析 拉 术 实 现 细 市 。 前 先 来 完成 一 个 人 物 抠 图 类 , 它 利用 Kinect SDK 完 
成 人 物 彩 色 图 像 抠 取 功 能 , 并 对 其 进行 修补 和 优化 ,该 类 会 在 初始 化 时 传 入 Kinect 对 象 , 并 在 XNA 
轮 询 框 染 的 Update 过 程 中 调用 ， 用 于 更 新 人 物 的 彩色 图 像 。 故 外， 在 绘制 过 程 中 也 会 被 调用 ， 用 
于 绘制 当前 的 人 物 图 像 。 

这 里 ， 假 设 Kinect 的 初始 化 工作 已 经 在 其 他 类 中 完成 ， 我 们 仅 针 对 “人 物 图 像 抠 取 ”功能 进 
行 代 码 实现 。 


9.3.1 创建 人 物 抠 图 类 


在 Visual Studio 2010 中 新 建 一 个 C# 类 ,命名 为 “Human.cs”， 如 图 9-2 所 示 。 我 们 将 在 这 个 类 
中 完成 本 节 的 全 部 工作 。 


歼 tp a 
添加 新 项 - ShowSystem 0 . etl /ee 2 : 
已 安装 的 模板 排序 依据 : | 默认 什 wl | 搜索 已 安装 的 模板 。 “. P| 
4 Visual C# .Vi = 
CH 关 Visual C# | 类 型 : Visual C 
Web = | 有 
Windows Forms 2 . | 
Oe 站 0 州 ”接口 Visual C# | 
棠 规 围 | 
代码 一 三 | Windows 窗 体 Visual C# | 
数据 | EE 用 户 控件 Visual C# 
Reporting : 
Workflow 中 | 组 件 浴 Visual C# 
XNA Game Studio 4.0 
联机 模板 | 寺 一 | 用 户 控件 (WPF) Visual C# 
六 | "关于 ” 框 Visual C# 
G2 ADO.NET EntityObject 生成 器 Visual C# 
也 
Ys ADO.NET 实体 数据 模型 Visual C# 
Qe ADO.NET 自 跟 踪 实 体 生 成 器 Visual C# 
人 
-> Crystal 报表 Visual C# 


图 9-2” ”在 Visual Studio 2010 中 新 建 人 物 抠 图 类 


9.3.2 ”利用 深度 数据 获取 人 物 彩色 图 像 
获取 人 物 彩 色 图 像 的 大 致 流程 如 图 9-3 所 示 。 
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图 9-3 人 物 抠 图 方法 示意 


在 诛 度 网 中 ，Kinect SDK 可 以 对 每 个 像 系 进行 用 户 索 引 标 记 ， 同 时 提供 诛 度 网 坐 标 到 平面 图 
坐标 的 转换 疯 数 。 这样 我 们 就 可 以 得 到 某 一 个 用 户 的 彩色 像素 集 , 将 彩色 图 中 的 其 他 像 系 都 设 为 
透明 ， 即 可 得 到 最 终 只 包含 某 一 用 户 的 彩色 图 像 ， 具 体 代 码 如 下 : 


private Color[] getBody (KinectSensor nui) 


{ 


colorimage = nui.ColorStream.OpenNextFrame (1); 
depthImage = nui.DepthStream.OpenNextFrame ( 工 ) ; 


if (colorimage == null || depthImage == null) 
return null; 


depthIimage.CopyDepthIimagePixelDataTo (depthFrame);} 
ColorIimage.CopyPixelDataTo (colorrfFrame); 


nui.CoordinateMapper.MapDepthFrameToColorFramel 
depthImage.Format, 
depthrFrame, 


ColorImage.Format, 
ColorCoordinates);} 


bodyOnlyColor = new Color[lcolorWidth * colorHeight]; 


for (int depthY = 0, depthIindex = 0; depthY < depthHeight; depthY++) 


{ 
for (int depthx = 0; depthx < depthWidth; depthX++, depthIindex += 1) 


{ 
DepthImagePixel depthpPixel = depthFrame[depthIindexl]; 


int player = depthPixel.PlayerIindex; 


if (player != 0 && userID == -1) 
USerID = player:; 
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if (player == userID && player != 0) 
{ 


ColorIimagePoint colorPoint = colorCoordinates[depthIindexl]; 


int colorxX = Math.Max(0, Math.Min (colorPoint.xXx, 

colorIimage.Image.Width - 1)); 

int colorY = Math.Max(0, Math.Min (colorPoint.Y, 
colorIimage.Image.Height - 1)); 


int colorIindex = (colorY * colorWidth + colorx); 
bodyOnlyColor[lcolorindex] = new Color(colorFrame[lcolorindex + 21], 
ColorFrame[lcolorindex + 11],， 


ColorFrame[lcolorindex|, 
255) ; 


} 
} 
return bodyOnlyColor; 


} 

在 上 述 代 码 中 ， 我 们 实现 了 一 个 函数 ,该 函数 毛 收 Kinectsensor 对 象 ， 并 返回 人 物 彩 色 图 
像 的 Color 数组， 实现 了 利用 座 度 图 抠 取 人 物 彩 色 图 的 功能 。 下 面 我 们 将 对 这 些 功能 进行 更 诛 和 人 
的 分 析 。 

1. 获取 彩色 图 和 深度 图 数据 

首先 利用 colorstream 和 DepthSsttream 的 接口 获取 一 帧 彩色 图 像 和 深度 图 像 : 


CoOLorImade 


nuli.ColorStream.OpenNextFrame (1).; 


depthImage nui.DepthStream.OpenNextFrame (1); 


值得 注意 的 是 , 与 之 前 介绍 的 回调 事件 不 同 , 这 两 个 接口 是 同步 阻塞 的 调用 立 数 。 这 里 有 必 
要 简单 解释 一 下 同步 调用 和 异步 调用 的 区 别 。 它们 最 主要 的 不 同 点 在 于 , 同步 请 求 是 在 发 出 调用 
请 求 后 , 集 止 进程 的 执行 ， 耻 到 获得 请 求 的 数据 或 者 达到 预定 的 等 每 时 间 , 才 继续 执行 之 后 的 处 
理 代码 ; 而 异步 请 求 在 发 出 请 求 后 并 不 阻塞 进程 的 执行 ,而 是 在 数据 返回 时 捕获 其 事件 并 执行 相 
应 的 回调 函数 进行 处 理 。 这 两 种 数据 请 求 的 处 理 方式 各 有 特点 : 同步 请 求 的 效率 局 ,适合 在 轮 询 
框架 中 使 用 ; 异步 请 求 的 逻辑 清晰 , 适合 在 事件 响应 框 染 中 使 用 。 因 为 我 们 使 用 XNA 的 轮 询 框 染 
作为 程序 的 主体 逻辑 框 染 ， 所 以 同步 的 方法 在 这 里 更 适合 。 

在 上 述 代码 中 ，OpenNextFrame () 方 法 用 于 获得 彩色 流 或 深度 流 的 下 一 帧 图 像 ， 其 参数 表 
示 该 本 数 等 和 的 蝶 秒 数 。 这 里 采用 同步 阻塞 型 方法 来 获取 数据 是 为 了 提高 程序 的 效率 。 

因为 是 同步 阻塞 型 方法 , 所 以 有 可 能 在 某 次 调用 的 时 候 无 法 获取 数据 。 这 时 不 应 该 进行 抠 图 
操作 ， 相 关 代 码 如 下 : 


If (colorimage == null || depthImage == null) 
return null; 


最 后 ， 将 两 种 图 像 的 子 市 数组 分 别提 取出 来 ， 相 关 代 人 码 如 下 : 


depthIimage.CopyDepthIimagePixelDataTo (depthrFrame); 
ColorIimage.CopyPixelDataTo (colorFrame); 
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2. 深度 图 像 和 彩色 图 像 的 存储 方式 
下 面 我 们 先 来 了 解 深度 图 像 和 彩色 图 像 的 字 市 数组 存储 方式 。 如 来 对 图 像 上 的 每 个 像 系 部 采 
用 如 图 9-4 所 示 的 方式 计数 ,那么 深度 图 字 市 数组 中 每 个 元 系 的 含义 束 如 表 9-1 所 示 。 


图 9-4 ”图 片 存储 方式 


表 9-1 深度 图 数据 对 应 含义 


MT 标 | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 


其 中 , 两 个 合并 在 一 起 的 字 节 表示 对 应 像素 的 深度 值 和 人 物 标 记 。 而 彩色 图 字 节 数组 中 每 个 
元 素 的 含义 稍 有 不 同 ， 如 表 9-2 所 示 。 
表 9-2 ”彩色 图 数据 对 应 含义 


MT 标 | 0 | 1 | 2 | 3 | | 5 | | 7 


合 义 (1,1) 像 素 RGBA 值 ，4 个 字 节 分 别 表示 B、G、R、A | (1,2) 像 素 RGBA 值 ，4 个 字 节 分 别 表示 B、G、R、A 
的 数值 的 数值 


需要 注意 的 是 ， 彩 色 图 是 用 4 个 字 节 来 表示 一 个 像 系 的 。 

3. 利用 次 度 图 标记 彩色 图 像素 

站 完 使 用 循环 来 抽 历 深度 图 上 的 每 一 个 像素 , 并 获取 其 深度 值 和 人 物 标 记 , 这 在 之 前 的 章节 
中 已 经 做 过 介绍 。 


for (int depthY = 0, depthIndex = 0; depthY < depthHeight; depthY++) 
a 


for (int depthx = 0; depthx < depthWwidth; depthX++, depthIindex += 1) 
{ 
DepthIimagePixel depthPixel = depthrrameldepthIindex]; 


int player = depthpPixel.Playerindex; 
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其 中 , aepthPixel 记 录 了 这 个 深度 网 像素 的 全 部 数据 信息 , Player 表 示 该 像素 上 的 人 物 标 
记 ( 关于 深度 数据 的 J 具体 数据 结构 可 参考 4.1 市 )。 值 得 一 提 的 是 ， 该 人 物 标 记 但 可 以 村 纺 走 地 跟 躁 
某 一 人 体 ， 并 返回 相同 的 标记 值 。 但 是 如 有 果 该 人 体 离开 Kinect 视 时 后 再 度 返 回 ， 这 一 标记 值 有 可 
能 发 生 改 变 。 换 言 之 ， 用 户 离开 Kinect 视 野 后 ， 骨 度 返 回 时 可 能 会 被 Kinect 视 为 男 一 个 人 。 
然后 利用 coordinateMapper .MapDepthFrameToColorFrame() 方 法 得 到 对 应 的 彩色 图 
像素 坐标 : 


nui.CoordinateMapper.MapDepthFrameToColorFrame ( 
depthImage.Format, 
depthFrame, 
ColorIimage.Format, 


ColorCoordinates);} 
ColorImagePoint colorPoint = colorCoordinates[depthIindex]; 


值得 注意 的 是 该 方法 的 第 四 个 参数 colorcoorqinates， 这 是 这 个 坐标 转换 函数 的 结 
数组 ， 回 以 用 colorcoordinatesTldepthIindex] 的 方法 来 获取 对 应 该 depthIndex 下 的 彩色 
图 坐标 。 

如 此 得 到 的 彩色 图 坐标 可 能 会 超出 彩色 图 的 宽度 、 高 度 值 ， 因 此 还 要 将 其 转化 为 合法 数据 : 


jnt colorx 


Math.Max(0, Math.Min(colorPoint.X, colorlimage.Image.Width - 1)); 
Math.Max(0, Math.Min(colorPoint.Y, colorlimage.Image.Height - 1)); 


最 后 ， 换 算出 color 数 组 的 下 标 ， 并 在 相应 的 位 置 保存 这 一 像 系 值 : 


int colorindex = (coOlorY * colorWidth + colorX) ; 
bodyOnlyColor[colorIindex|] = new Color(colorFrame[colorindex + 2]， 


jnt colorY 


ColorFrame[colorIindex + 工 ] ， 


ColorFrame [colLorInaeX] ， 
和 95) 


其 中 ，boqyonlycolor 是 color 类 型 的 数组 ， 而 color 则 是 XNA 框 架 定 义 的 颜色 类 型 ， 可 
以 理解 为 一 个 保存 单 像素 RGBA 四 位 数值 的 对 象 。 
4. 持续 跟踪 有 菏 一 固定 标记 的 人 物 
由 于 Kinect 可 以 同时 识别 多 个 人 物 ， 而 我 们 仅 硕 望 对 某 一 个 人 物 进 行 持续 跟踪 ， 所 以 要 在 第 
一 次 出 现 人 物 的 时 候 记 录 下 该 人 物 标记 , 并 在 之 后 的 每 一 帧 都 只 对 该 标记 的 像素 进行 处 理 , 具体 
代码 如 下 : 


int player depthpPixel.Playerindex; 


if (player != 0 && userID==-1) 
USerID = player; 
If (player == userID && player != 0) 


{ 
// 将 深度 图 像素 对 应 到 彩色 图 
} 


至 此 , 我 们 就 完成 了 一 个 具备 最 基本 功能 的 抠 图 方法 。 如 采 将 此 方法 蔡 换 工程 中 原 有 的 部 分 
并 执行 ， 我 们 就 可 以 看 到 抠 取 出 来 的 人 物 了 ， 如 图 9-5 所 示 。 
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图 9-$ 人 物 抠 取 初步 结 


9.3.3 修补 、 优 化 并 完 画 抠 图 类 


可 以 看 到 ,现在 得 到 的 图 片 还 有 很 多 瑕 辛 ， 图 像 边 绿 的 噪点 很 多 , 极其 不 光滑 ， 人 物 图 中 还 
经 常会 出 现 一 些小 “空洞 ”。 这 是 因为 到 目前 为 止 仅仅 使 用 了 原始 的 人 物 标记 数据 进行 了 图 像 抠 
取 , 使 得 整个 图 像 显得 很 粗糙 。 因 此 需要 通过 修补 和 优化 来 让 这 幅 抠 网 显得 更 加 自然 。 我 们 可 以 
在 得 到 colorx 和 colorY 之 后 加 入 如 下 代码 : 


for (int Jj = colorY - 3; ] <= COloOrY + 3; J++) 
{ 
for (int i = colorX - 3; 1 <= CoOlorX + 3; i++) 
if (] >= 0 && Jj < colorHeight && 1 >= 0 && 1 < colorWidth) 
{ 
int t32 = (] * colorWidth + 1) * 4; 
int t16 = (J] * colorWidth + 工 ) ; 
pixeltype[i, j] += 1; 
if (pixeltypel[li, JjJ|] > 7) 
{ 
bodyOnlyColor[t16] = new Color(lastColor[t32 + 2]， 
JastColor[t32 + 工 ] ， 
LastColor [It32]，255) ; 


) 


这 里 使 用 了 一 种 类 似 于 Photoshop 中 “羽化 ”的 操作 : 对 于 彩色 图 中 的 每 个 像 系 点 ， 统 计 以 
其 为 中 心 的 方形 范围 内 有 和 多少 像 系 是 深度 图 中 对 应 的 像素 点 。 如 琳 超 过 某 一 国 值 , 那么 该 像素 点 
就 可 以 被 认为 属于 人 物 标 记 而 加 入 结 来 图 像 。 

但 是 使 用 这 种 方法 存在 一 个 问题 , 即 在 仅仅 统计 该 方形 范围 内 被 选取 像素 点 的 个 数 时 , 系统 
会 将 不 同位 置 的 像 系 视 为 同等 价值 。 然 而 对 于 边 绿 外 的 点 以 及 内 部 的 “空洞 ”， 尽 管 履 兰 了 12 个 
像素 ， 但 实际 上 它们 是 不 能 等 同 的 ， 如 图 9-6 所 示 ， 蓝 色 点 代表 已 经 选择 的 像素 点 ， 红 色 点 代表 
当前 和 需要 判断 的 像 系 点 ， 日 色 点 代表 未 被 选择 的 像素 点 。 
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图 9-6 不 同位 置 的 选取 策略 
此 我 们 要 对 这 个 方形 范围 内 的 每 一 个 位 置 添 加 相应 的 权 值 : 


private int[,] pixelNum = {{0, 0, 0, 4, 0, 0, 0}, 
{0 [A 0 [A 4 了 3 [A 4 [A 0 [A 0} [A 
{0 [A 4 [A 3 [A 2 [A 3 [A 4 [A 0} 了 
{4 了 3 [A 2 [A 1 [A 2 [A 3 [A 4} [A 
{0 F 4 [A 3 了 2 [A 3 [A 4 F 0} [A 
{0 [A 0 了 4 [A 3 [A 4 了 0 了 0 } 了 
(Oy .Dy Vy Dy .Vy VY 
然后 修改 统计 的 方法 : 
pixeltypel[i, JjJ|] += pixelNum[i - colorX + 3, Jj] - colorY + 31]; 


If (pixeltypel[i, J] > 10) 
{加 入 该 像素 } 


上 述 代 码 中 的 权 值 仅仅 是 通过 实验 得 到 的 一 组 较为 合适 的 参数 ， 并 没有 在 理论 上 进行 验证 ， 
有 兴趣 的 读者 可 以 进行 深入 的 研究 。 同 时 ， 本 节 介 绍 的 这 种 优化 算法 并 不 是 唯一 的 方法 ,在 数字 
图 像 处 理 技术 中 还 有 很 多 算法 可 以 应 用 到 这 里 , 甚至 能 得 到 更 理想 的 结果 。 但 是 由 于 效率 以 及 框 
架 兼 容 性 等 问题 ， 我 们 最 终 选 用 了 这 种 轻 量 级 的 算法 ， 以 平衡 抠 网 的 效率 和 质量 。 

至 此 ， 我 们 就 实现 了 全 部 的 人 物 图 像 抠 取 功 能 ， 并 且 可 以 得 到 一 幅 较 为 理想 的 人 物 抠 图 了 ， 
如 图 9-7 所 示 。 


图 9-7 人 物 抠 取 最 终结 
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9.3.4 利用 Kinect SDK 抠 图 的 优 、 缺 点 


其 实 , 还 有 很 多 种 方法 可 以 实现 人 物 图 像 抠 取 这 一 功能 ， 比 如 虚拟 演播 室 中 采用 的 单 色 和 龙 布 
技术 ， 当 用 户 站 在 单 色 磊 布 前 面 时 ,只 要 去 除 摄像 机 实时 拍摄 画面 中 的 大 布 闫 色 ， 即 可 将 人 物 图 
像 完 整地 抠 取 出 来 。 此 外 , 还 可 以 使 用 一 些 机 需 视 觉 算法 来 识别 图 像 中 的 人 体 , 并 加 以 抠 取 。 但 
是 与 这 些 较 为 完善 的 解决 方案 相 比 ， 利 用 Kinect 进 行 抠 图 仍然 有 很 多 优点 。 

首先 是 稳定 性 。 由 于 Kinect 是 使 用 深度 图 区 分 人 物 和 背景 的 ， 因 此 不 会 受到 光线 明暗 、 衣 着 
颜色 和 背景 闫 色 的 影响 , 甚至 在 上 暗室 中 也 可 以 区 分 出 人 物 和 背景 , 这 是 传统 的 机 大 视 党 算法 所 不 
能 比拟 的 。 另 外 ， 利 用 Kinect 抠 图 极其 便捷 ， 不 需要 任何 辅助 设备 ， 只 要 有 一 台 Kinect 和 一 合 电 
脑 即 可 ， 相 比 单 色 和 项 布 技 术 优 势 很 大 。 

当然 ， 这 种 方法 也 有 一 些 上 自身 无 法 克服 的 缺陷 ， 比 如 只 能 依赖 Kinect SDK 抠 取 人 物 图 像 ， 而 
其 他 方法 并 不 受 限 于 此 。 同 时 无 法 通过 便 件 提高 图 像 分 辨 素 ,无 法 达到 那些 高 精度 、 高 质量 人 物 
抠 图 工作 的 要 求 。 但 总 体 来 说 ， 这 种 方法 已 经 在 很 大 程度 上 超越 了 传统 的 方法 ， 相关 的 应 用 也 会 
越 来 越 多 。 


9.4 利用 骨骼 数据 识别 人 体 究 态 


虚拟 演示 系统 的 第 二 个 主要 功能 是 识别 人 体 动作 和 姿态 , 我 们 将 在 本 节 中 介绍 其 实现 方法 以 
及 设计 思路 。 


9.4.1 利用 Toolbox 实 现 主 体 识 别 功能 


基本 的 人 体 姿 态 和 手势 识别 功能 , 可 以 通过 第 8 章 介 绍 的 Toolbox 库 来 实现 。Toolbox 库 的 具体 
功能 就 不 在 这 里 介绍 了 ， 本 闻 将 重点 讨论 在 实际 应 用 中 使 用 Kinect 识 别 的 一 些 细 布 问题 ， 比 如 持 
续 跟 踪 、 交 互 方式 设计 等 。 

1. 添加 引用 并 创建 Nui 类 

首先 下 载 最 新 版 本 的 Toolbox 类 库 ， 然 后 在 主 项 目 中 添加 对 Toolbox 的 引用 ， 可 参照 8.2.2 节 的 
步骤 完成 配置 。 接 下 来 ， 在 Visual Studio 2010 中 新 建 一 个 C# 类 ， 命 名 为 “Nui.cs”， 如 图 9-8 所 示 。 

我 们 将 在 这 个 类 中 完成 Toolbox 类 库 所 需 对 象 的 初始 化 ， 并 传人 数据 进行 识别 。 

2. Toolbox 初 始 化 

首先 完成 该 类 的 构造 函数 ， 即 初始 化 过 程 ， 相 关 代码 如 下 : 


SwipeGestureDetector swipeGestureRecognizer; 


TemplatedGestureDetector circleGestureRecognizer; 
readonly BarycenterHelper barycenterHelper = new BarycenterHelper(); 
readonly AlgorithmicPostureDetector algorithmicPostureRecognizer = 


new AlgorithmicPostureDetector(); 
TemplatedPostureDetector templatePostureDetector; 


public Nui (KinectSensor nui) 


| 
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kinectSensor = nui; 
circleKkBPath = Path.Combine (Environment .CurrentDirectory, @"data\circleKB.save"),; 
letterT KBPath = Path.Combine (Environment.CurrentDirectory, @"data\t_ KB.save"); 


try 

{ 
swipeGestureRecognizer = new SwipeGestureDetector(); 
swipeGestureRecognizer.OnGestureDetected += OnGestureDetected.; 
kinectSensor.SkeletonFrameReady += kinectRuntime SkeletonFrameReady; 


LoadCircleGestureDetector();} 
LoadLetterTPostureDetector();} 
} 
catch (Exception ex) 
{ 


MessageBox.Show (ex.Message); 


vold LoadCircleGestureDetector() 
{ 


Using (Stream recordStream = File.Open(circleKBPath, FileMode.OpenOrCreate)) 


{ 


CircleGestureRecognizer = 
new TemplatedGestureDetector("Circle", recordStream),; 
circleGestureRecognizer.OnGestureDetected += OnGestureDetected; 


} 


templates.ItemsSource = circleGestureRecognizer.LearningMachine.Paths,; 


void LoadLetterTPostureDetector() 


| 


Using (Stream recordStream = File.Open(letterT KBPath, FileMode.OpenOrCreate)) 
{ 
templatePostureDetector = new TemplatedPostureDetector("T", recordStream); 
templatePostureDetector.PostureDetected += 
templatePostureDetector_PostureDetected.; 


postures.ItemsSource = templatePostureDetector.LearningMachine.Paths; 


} 

我 们 在 构造 孙 数 之 前 声明 了 一 系列 数据 成 员 ， 这 些 数据 成 员 就 是 在 Kinect Toolbox 中 实现 的 
一 些 辅助 类 库 ， 可 以 完成 识别 、 记 录 等 工作 。 

口 swipeGestureRecognizer: 国定 算法 识别 挥动 手势 。 

DcircleGestureRecognizer: 模板 匹配 识别 圆圈 手 热 。 

UD barycenterHelper: 判断 当前 人 物 是 否 静 止 。 

口 algorithmicPostureRecognizer: 国定 算法 识别 人 体 姿 态 。 

口 templatePostureDetector: 模板 匹配 识别 T 字 姿态 。 


9.4 利用 骨骼 数据 识别 人 体 姿 态 93 


其 中 ， swipeGestureRecognizer、 circleGestureRecognizer 和 和 templatePostureDetector 是 以 
事件 回调 方式 来 返回 识别 结果 的 ， 因 此 需要 借助 相应 的 回调 方法 来 处 理事 件 : 


swipeGestureRecognizer.OnGestureDetected += OnGestureDetected; 
CircleGestureRecognizer.OnGestureDetected += OnGestureDetected; 
templatePostureDetector.PostureDetected += templatePostureDetector_PostureDetected.; 


打开 骨骼 效 据 流 的 事件 回调 方法 如 下 : 


kinectSensor.SkeletonFrameReady += KlInectRuntlme_SkeletonFrameReadqy ， 


| 添 hg 新 项 - ShowSystem A . | eh 
一 
已 安装 的 模板 排序 依据 :| 默认 值 9 项 | 净 索 已 安装 的 模板 


和 CE i 目 ee C# 
Windows Forms | | 
WPF 
常规 
代码 
数据 
Reporting 
Workflow 
XNA Game Studio 4.0 


Visual C# 

三 | ”Windows 罕 体 Visual C# 
用 户 控件 Visual C# 

组 件 类 Visual C# 


| 组 件 类 
Visual C# 


| 用 户 控件 (WP 
"关于 ” 框 Visual C# 


; ADO.NET EntityObject 生成 器 Visual C# 


。 ADO.NET 实体 数据 模型 Visual C# 


ADO.NET 自 申 踪 实体 生成 器 Visual C# 


Crystal 报表 Visual C# 


1 ~ 


图 9-8 ”在 Visual Studio 2010 中 新 建 Nui 类 


3. 将 骨骼 数据 传 入 Toolbox 并 获取 识别 结果 
按照 惯例 ， 我 们 仍然 需要 在 骨 骨 数据 的 回调 尊 数 中 将 Kinect 获 取 的 骨骼 点 信息 传人 Toolbox， 
相关 代码 如 下 : 


void kinectRuntime_ SkeletonFrameReady (object sender, SkeletonFrameReadyEventArgs e) 


{ 
using (SkeletonFrame frame = e.OpenSkeletonFrame()) 
{ 
if (frame == null) 
return; 


Tools.GetSkeletons (frame, ref skeletons); 
1if (skeletons.All(s => s.TrackingState == SkeletonTrackingState.NotTracked)) 
EECUrTNS 


ProcessFrame (frame).，; 
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Vold ProcessFrame (ReplaySkeletonFrame frame) 
{ 
foreach (var skeleton in frame.Skeletons) 
{ 
if (skeleton.TrackingState != SkeletonTrackingState.Tracked) 
continue; 


if (userID == -1) 
userID = skeleton.TrackingID; 
if (skeleton.TrackingID != userID) 
continue; 
barycenterHelper.Add (skeleton.Position.ToVector3(), skeleton.TrackingId);} 


if (!barycenterHelper.IsStable(skeleton.TrackingId)) 
return; 


foreach (Joint joint in skeleton.Joints) 


{ 


If (JjJoint.TrackingState != JointTrackingState.Tracked) 
continue; 
If (joint.JointType == JointType.HandRight) 


{ 
swipeGestureRecognizer.Add(Joint.Position, kinectSensor),; 
circleGestureRecognizer.Add(Joint.Position, kinectSensor).; 


} 
algorithmicPostureRecognizer.TrackPostures (skeleton),; 
templatePostureDetector.TrackPostures (skeleton).; 


} 


CurrentPosture = algorithmicPostureRecognizer.CurrentPosture; 


vold OnGestureDetected(string gesture) 


i 


switch (gesture) 
{ 
// 对 不 同 的 手势 做 相应 的 处 理 


void templatePostureDetector PostureDetected(string posture) 


{ 


switch (posture) 
{ 
// 对 不 同 的 姿势 做 相应 的 处 理 


} 
这 里 的 大 部 分 代码 和 普通 的 调用 方式 相同 。 但 值得 注意 的 是 ， 和 族 度 图 的 跟 踩 类似， 骨骼 数 
据 也 应 该 上 只 对 茶 一 特定 编 扎 的 骨 赃 进行 持续 跟踪 和 识别 : 
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ift (userID 三 三 ~—1) 
userID = skeleton.TrackingID; 
if (skeleton.TrackingID != userID) 
continue; 


至 此 , 我 们 已 经 实现 了 使 用 骨 锅 数据 识别 人 体 姿态 和 手势 的 基本 功能 一 一 初始 化 、 传 人 数据 
以 及 获取 结 


9.4.2 目 然 交互 方式 设计 


对 于 一 个 完美 的 Kinect 应 用 来 说 ， 识 别 功能 仅仅 是 基础 而 已 ， 更 重要 的 是 将 多 种 识别 组 合 在 
一 起 ,设计 出 一 个 适合 该 应 用 的 统一 日 然 交 互 系 统 ， 这 将 卫 搁 关系 到 应 用 的 质量 。 试想， 如 琳 一 
个 演示 应 用 以 手 举 过 头顶 的 动作 来 完成 翻 页 ,同时 还 夹杂 着 手势 和 语音 的 误 识别 , 其 用 户 体 验 一 
定 是 非常 粮 糕 的 。 下面 我 们 就 以 虚拟 演示 系统 为 例 , 详细 讨论 如 何 设计 一 个 完整 的 目 然 交互 系统 。 

1. 各 种 识别 方式 的 特性 

针对 Kinect 的 自然 交互 功能 ， 我 们 已 经 介绍 了 三 种 不 同 的 识别 方式 : 静态 姿态 识别 、 动 态 手 
执 识 别 以 及 语 首 识别 。 这 三 种 识别 方式 的 优 缺 点 和 适用 的 环境 部 不 尽 相 同 ， 区 别 如 表 9-3 所 丰 。 

表 9-3 不同 识别 方式 的 特性 
识别 方式 识别 功能 优点 缺点 
姿态 识别 。 ”识别 某 一 时 刻 人 稳定 : 由 于 仅仅 需要 对 单 帧 ”适用 范围 较 窗 : 只 能 用 于 识别 一 些 静 态 的 姿态 ， 比 
体 的 静态 姿态 。 ”的 数据 进行 识别 ,所 以 稳定 ”如 立正 、 伸 出 手臂 等 。 另 外 ， 识 别 的 结果 为 当前 帧 
性 很 高 的 “状态 ”， 而 不 是 做 出 某 一 动作 的 “事件 ” 


手势 识别 识别 一 小 段 时 间 ”交互 方式 目 然 :手势 本 映 就 ” 误 识 别 紊 高 :因为 需要 连续 匹配 多 帧 的 数据 ， 所 以 
内 手 的 连续 动作 是 连贯 的 动作 ,动态 识别 符 ”造成 了 较 高 的 误 识 别 率 。 


合 人 的 思维 方式 识别 复杂 度 低 : 因为 手势 越 复 杂 ， 误 识别 座 就 会 越 
高 ， 所 以 只 能 识别 一 些 简 单 的 手势 
语音 识别 识别 语音 指令 交互 方式 自然 :有 些 操作 直 ” 误 识 别 率 高 : 会 将 很 多 杂音 识别 为 语音 库 的 声音 
接 用 语音 进行 驱动 , 更 加 下 
接 和 自然 


对 应 于 这 些 特性 , 它们 的 使 用 环境 也 不 太一 样 : 姿态 识别 凭借 其 出 色 的 稳定 性 ,一 般 适 用 于 
控制 交互 状态 的 切换 ; 手势 识别 利用 其 与 人 体 动作 的 高 度 契 合 而 作为 主要 的 交互 驱动 方式 ; 而 博 
音 识别 则 对 其 他 两 种 识别 方式 的 一 些 育 点 操作 进行 补充 ， 并 不 作为 交互 的 主体 部 分 。 

2. 应 用 所 需 的 交互 功能 

当然 ,仅仅 了 解 识 别 方式 的 特点 显然 是 不 够 的 ， 对 于 不 同 的 应 用 , 我 们 应 该 根据 其 本 身 的 使 
用 特点 ， 设 计 出 最 合适 的 目 然 交互 系统 。 因 此 ,万 一 项 必须 提前 完成 的 功 诛 聘 是 分 析 应 用 的 目 然 
交互 需求 。 以 演示 系统 为 例 ， 表 9-4 列 出 了 它 所 知 要 的 交互 操作 及 其 特点 。 
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表 9-4 不同 的 交互 需求 


操作 类 型 需求 描述 
选择 元 系 元 素 指 页 面 中 的 图 片 、 文 本 和 视频 。 需 要 选中 当前 页 面 中 的 某 一 元 素 
移动 元 又 在 页 面 中 移动 选中 的 元 系 
放大 、 缩 小 元 又 放大 和 缩小 被 选中 的 元 系 
切换 元 又 类 似 于 传统 PPT 的 动画 切换 效果 ， 对 选中 的 元 系 进 行动 画 切换 
前 后 翻 页 将 页 面 转 到 上 一 页 或 下 一 页 
进入 、 退 出 子 页 面 针对 当前 页 面 的 某 些 元 系 ， 将 页 面 转 到 以 其 为 主题 的 子 页 面 中 


3. 组 合 出 统一 的 交互 系统 

从 前 面 的 交互 需求 分 析 可 以 看 出 , 演示 系统 的 交互 主要 分 为 两 种 
面 的 控制 。 因 此 ， 在 交互 设计 过 程 中 也 要 将 这 两 类 操作 区 分 开 来 。 

首先 分 析 对 元 素 的 操作 ,其 中 选取 、 移 动 操作 相当 于 和 鼠标 的 选取 和 拖 动 。 通 常 这 类 操作 的 实 
现 过 程 是 将 手 的 坐标 映射 到 平面 上 的 鼠标 坐标 , 然后 通过 延 时 操作 ， 当 鼠标 在 某 一 元 素 上 停留 一 
段 时 间 后 ， 就 认为 这 个 元 素 已 经 被 选取 了 。 需要 注意 的 是 ,为 了 让 用 户 知道 延 时 的 进程 ,需要 将 
延 时 过 程 显 示 出 来 。 另外 , 针对 放大 和 缩小 操作 ,最 直观 的 方式 是 用 两 只 手 来 模拟 多 点 触 控 中 的 
放大 和 缩小 ， 即 双手 距离 拉 远 为 放大 ， 靠 近 为 缩小 ， 如 图 9-9 所 示 ， 


对 元 素 的 操作 以 及 对 页 


中 | 
| 
有 | 


7 | MT 三 


手 即 代表 停止 缩放 


图 9-9 元素 类 操作 示意 网 


不 难 发 现 , 以 上 操作 均 需 要 通过 伸 出 双手 来 完成 。 那 么 剩 下 的 元 素 切 换 操作 也 可 以 通过 类 似 
的 手 努 识别 来 完成 ， 比 如 辐 左 、 回 右 挥动 右手 ,这样 全 部 的 元 系 操作 就 具有 了 统一 的 特性 。 因 此 
系统 可 以 通过 姿态 识别 出 回 前 伸手 的 状态 , 并 在 此 状态 下 开局 元 素 的 操作 , 在 其 他 状态 下 则 关闭 
这 类 操作 。 这 样 的 设计 可 以 区 分 两 种 操作 状态 ， 并 避免 它们 相互 干扰 。 

接 下 来 对 于 页 面 的 控制 就 相对 简单 多 了 ,设计 一 些 不 用 向 前 伸手 的 姿态 即 可 , 如 图 9-10 所 示 。 
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子 页 面 


图 9-10 ”控制 类 操作 示意 图 


这 样 ， 我 们 就 完成 了 演示 系统 全 部 的 日 然 交 互 设计 。 整 个 系统 的 结构 如 图 9-11 所 示 。 


选取 移动 元 素 收回 手臂 


页 面 操作 


癌 前 癌 后 翻 页 


元 素 操作 


图 9-11 整体 交互 设计 示意 图 


9.4.3 ”Kinect 目 然 交 互 小 结 
目前 ，Kinect 的 应 用 开发 沿 处 于 起 步 阶段 , 受 设备 和 技术 的 限制 仍然 比较 明显 。 在 前 几 市 中 ， 

我 们 介绍 了 一 种 较为 成 熟 的 解决 方式 ， 即 利用 Toolbox 类 库 实现 基础 识别 功能 ， 然 后 对 应 不 同 需 

求 设计 具体 的 交互 方式 。 在 这 种 解决 方案 中 ,交互 设计 的 部 分 尤为 重要 ,应 该 避 循 以 下 几 项 基本 

原则 。 

口 最 小 相互 干扰 : 无 论 识别 算法 多 么 精确 ， 痢 会 存在 一 定 的 误 识 别 现象 ， 尤 其 是 相似 的 动 
作 姿 态 。 所 以 在 交互 设计 的 时 候 应 该 尽量 避免 相似 的 动作 ， 尤 其 是 避免 在 同一 时 刻 用 相 
似 的 动作 表示 不 同 的 操作 。 

口 最 少 识别 时 间 : 对 于 手势 识别 和 语音 识别 的 高 误 识 别 率 来 说 ， 如 果 长 时 间 开 启 ， 会 将 很 
多 小 动作 、 小 声音 误 识 别 为 目标 操作 。 因 此 应 该 最 大 限度 地 缩小 这 种 识别 的 持续 时 间 ， 
最 好 是 利用 姿态 识别 ， 仅 仅 在 需要 进行 手势 识别 的 时 候 才 开局 。 
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口 最 大 站 合 动作 习惯 : 这 一 点 正 是 目 然 交 互 的 要 求 ， 让 每 一 个 交互 动作 虱 符 合 日 第 的 动作 
习惯 ， 比 如 拾 腿 表示 走动 、 左 右 挥手 表示 切换 等 。 
这 样 可 以 最 大 限度 地 提高 Kinect 频 用 的 交互 体验 ， 并 避免 误 操 作 、 误 识别 。 不 过 我 们 相信 ， 
随 着 Kinect 设 备 性 能 的 提 融 以 及 开发 技术 的 发 展 ， 这 些 设计 上 的 限制 也 会 慢 慢 消失 。 


9.5 ”演示 系统 简介 


前 面 几 节 着 重 介 绍 了 虚拟 演示 系统 是 如 何 利 用 Kinect SDK 完 成 各 个 功能 模块 的 , 但 是 其 演示 
功能 本 喘 并 不 太 依 赖 Kinect 撤 术 ， 仅 需要 按照 一 定 逻 辑 进 行 绘图 即 可 。 因 此 该 项 目 设计 了 一 个 基 
于 XNA 游 戏 引 擎 的 演示 框架 来 完成 程序 的 基本 功能 。 

整个 演示 框 染 分 为 三 层 进行 管理 : 第 一 层 是 每 个 页面 上 的 单独 可 视 元 系 , 类 似 于 传统 约 灯 片 
页 中 的 图 片 和 文本 框 ; 第 二 层 是 由 多 个 元 素 以 及 背景 组 成 的 页 面 ， 即 “一 张 约 灯 户 ”; 第 三 
层 是 由 多 个 页 面 组 成 的 演示 内 容 整 体 。 不 同 层 有 不 同 的 管理 逻辑 ,但 是 Kinect 的 控制 流程 是 贯穿 
始终 的 ， 在 每 一 层 的 操作 中 部 会 用 到 。 

由 于 不 同 应 用 所 使 用 的 框 染 及 开发 方法 不 尽 相 同 , 可 重用 性 很 低 , 因此 大 家 在 阅读 时 不 必 将 
重点 过 多 地 放 在 代码 上 。 另 外 , 由 于 Kinect SDK 以 及 现 有 的 大 多 数 识 别 框架 都 使 用 事件 回调 机 制 
来 处 理 相应 的 动作 ,这 和 轮 询 类 框 染 相 冲 突 ， 因此 知 要 将 其 封 疙 起 来 , 便于 轮 询 调用 。 下 面 我 们 
将 分 析 该 应 用 在 XNA 框 染 下 的 Kinect 封 疲 类 。 


9.5.1 预备 知识 


由 于 虚拟 演示 系统 的 界面 是 采用 XNA 4.0 绘 制 的 ， 整 个 系统 的 控制 逻辑 也 包含 在 该 框架 内 ， 
所 以 为 了 便于 读者 理解 代码 ， 本 广 将 简单 介绍 XNA 框 染 。 

1. XNA 框 架 简介 

Microsoft XNA Framework 是 由 人 微软 发 布 的 , 用 于 辅助 电脑 游戏 开发 、 电 脑 软件 开发 及 管理 的 
集成 开发 环境 。 XNA 将 游戏 设计 人 员 从 “反复 刻 版 编程 ”中 解放 出 来 , 使 得 游戏 编程 更 加 容易 和 
快捷 。 它 能 够 自行 实现 检查 显卡 、 创 建设 备 、 消 息 事 件 处 理 、 纹 理 导入 等 工作 ， 而 程序 员 要 做 的 
只 是 编写 游戏 逻辑 代码 。 它 是 基于 .NET Framework 之 上 的 框架 ,以 托管 代码 的 方式 来 运行 。 男 外 
还 包含 一 些 专用 于 游戏 开发 的 类 库 ， 可 以 在 指定 的 平台 上 使 代码 重用 达到 最 大 效果 。 

XNA 杠 染 包 含 了 所 有 用 作 游 戏 编 程 的 低 阶 技术 , 由 此 , 游戏 开发 人 员 束 可 以 专注 于 游戏 内 容 
开发 而 不 用 关心 游戏 在 不 同 平台 上 的 移植 性 问题 。 使 用 XNA 平 台 开 发 的 游戏 ， 可 以 在 所 有 支持 
XNA 的 设备 上 运行 ， 比 如 PC、Xbox 以 及 Windows Phone 7。 此 外 ，XNA 框 架 还 内 置 了 一 些 工 具 ， 
比如 XACT， 来 辅助 游戏 内 容 、 视 觉 和 听觉 效果 的 开发 以 及 像 真 度 很 高 的 模型 制作 。 

2. XNA 轮 询 框 染 

XNA 和 框架 的 一 个 最 大 特点 就 是 采用 轮 询 方式 来 维护 游戏 的 迎 辑 及 绘图 , 与 其 他 GUI 框架 的 事 
件 回 油 机 制 相 比 ， 轮 询 方 式 的 效率 更 高 。 在 XNA 和 框架 中 ， 无 论 是 Game 类 还 是 component 类 ， 都 
遵循 看 一 个 固定 的 运行 顺序 ， 如 图 9-12 所 示 。 
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图 9-12 XNA 框 保 示 意图 


可 以 看 到 ， 每 一 个 组 件 都 要 先 在 Initialize() 函数 中 完成 初始 化 过 程 ， 并 通过 
LoadContent () 图 数 加 载 所 需 资源 ， 然 后 游戏 以 及 组 件 就 会 反复 执行 Update() 和 Draw() 方 法 
来 完成 逻辑 和 绘图 工作 ， 直到 游戏 结束 ， 执 行 Unloadcontent () 拯 数 释 放 资 源 。 虚 拟 环 境 演示 
系统 也 是 建立 在 这 种 轮 询 的 框架 内 的 。 


9.5.2 Kinect 状 态 类 


Kinect 组 件 和 其 他 组 件 最 重要 的 一 个 对 象 就 是 Kinect 状 态 类 。 程 序 将 使 用 该 类 来 传递 Kinect 
的 识别 结果 及 数据 。 非 Kinect 组 件 开发 者 无 需 了 解 其 调用 的 具体 细 市 ， 只 要 使 用 该 类 的 数据 即 可 
完成 对 应 的 功能 ， 而 Kinect 开 发 者 只 需 尽 可 能 高 效 地 完成 该 类 所 需 的 数据 即 可 。 因 此 ， 可 以 说 
Kinect 状 态 类 是 连接 整个 项 目 最 为 重要 的 纽 市 。 

1. 创建 Kinect 状 态 类 

首先 在 Visual Studio 2010 中 新 建 一 个 C# 类 ， 命 名 为 “NuiState.cs”。 我 们 将 在 这 个 类 中 和 完成 整 
个 Kinect 状 态 的 封 效 ， 如 图 9-13 所 示 。 


隔 
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居于 " 框 Visual C# 
Qs ADO.NET EntityObject 生成 器 Visual C# 
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图 9-13 ”在 Visual Studio 2010 中 新 建 Kinect 状 态 类 
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2. 加 入 所 有 需要 传递 的 数据 
我 们 需要 在 该 类 中 添加 之 前 提 到 的 动作 识别 结果 和 拖 忠 所 需 的 左右 手 位 置 等 ， 相 关 代 码 
如 下 : 


public class NuiState 
{ 


public enum GestureStates 
{ 
None, 
SwipeToLeft, 
SwipeToRight 


public enum PostureStates 

{ 
None, 
LeftHello, 
RightHello, 
LeftOverHead, 
RightOverHead, 
LeftSideWardqd, 
RightSideWarqd, 
BothReachOut, 
LeftReachOut, 
RightReachOut, 
HandsJoined, 
RightAtShoulder., 
LeftAtShoulder., 


private bool iscatching,; 
public bool IsCatching{ get;set,; } 
{ 

get { return iscatching; } 

set { iscatching = value; } 


private bool isgesturing; 

public bool IsGesturing 

{ 
get { return isgesturing; } 
set { isgesturing = value; } 


private GestureStates gestureState; 
public GestureStates GestureState 
{ 
get { return gestureState; } 
set { gestureState = value; } 


private PostureStates postureState; 
public PostureStates PostureState 


get { return postureState; } 
set { postureState = value; } 


} 


private Vector2 leftPosition,; 
public Vector2 LeftPosition 
{ 
get { return leftPosition; } 
set { leftPosition = value; } 


} 


private Vector2 rightPosition,; 
public Vector2 RightPosition 
{ 
get { return rightPosition; } 
set { rightPosition = value; } 
} 
public NuiState(NuiState e) 
{ 


this.iscatching = e.IsCatching; 
this.isgesturing = e.IsGesturing; 
this.isListening = e.isListening; 
this.leftPosition = e.leftPosition; 
this.rightPosition = e.rightPosition,; 
this.gestureState = e.GestureState,; 
this.postureState = e.PostureState,; 


} 
public NuiState() 
{ 
} 
} 


上 述 代码 首先 声明 了 动态 动作 以 及 静态 姿态 两 种 识别 结 采 的 枚 举 变量 , 这 样 不 仅 直 观 地 显示 
所 要 人 处理 的 结果 ， 同 时 也 保证 了 高 效 性 。 

之 后 声明 的 iscatching 和 :isgesturing 布 尔 信用 来 区 分 上 一 下 提 到 的 两 种 交互 阶段 ， 
gestureState 和 postureState 记 录 当 前 帧 的 动作 和 姿态 的 识别 结果 ( 姿态 识别 阶段 和 元 又 操 
控 阶 段 )， 最 后 的 leftPosition 和 rightpPosition 表 示 左 右手 相对 于 屏幕 的 位 置 。 

至 此 ， 全 部 的 数据 都 已 经 封装 到 了 Nuistate 类 中 。 整 个 项 目的 组 件 都 可 以 通过 它 来 传递 
Kinect 得 到 的 数据 。 


9.5.3 ”Kinect 轮 询 类 


单 赁 状态 类 并 不 能 完全 满足 轮 询 框架 的 需求 。 在 一 些 情 况 下 , 轮 询 框 架 不 仅 要 知道 当前 帧 的 
状态 ， 还 要 了 解 上 一 帧 的 状态 ， 如 图 9-14 所 示 。 

事件 回调 机 制 是 在 需要 人 处理 的 事件 发 生 时 抛 出 事件 直接 进行 处 理 的 , 而 在 轮 询 框架 下 , 只 有 
知道 了 上 一 帧 以 及 当前 帧 的 状态 才能 判断 出 是 否 发 生 了 状态 改变 。 因此, 为 了 便于 对 不 同 的 组 件 
进行 调用 ， 还 需要 完成 一 个 轮 询 类 来 简化 和 重用 Kinect 状 态 轮 询 的 过 程 。 
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需要 处 理 的 。 需要 处 理 的 
事件 事件 


图 9-14 ”状态 改变 示意 图 


1. 创建 Kinect 轮 询 类 

同 之 前 的 步 缀 一 样 ， 新 建 一 个 C# 尖 , 命名 为 “KinectControl.cs”，Kinect 状 态 轮 询 的 过 程 将 全 
部 在 这 个 类 中 完成 。 

2. 实现 Kinect 轮 询 类 

系统 需要 在 轮 询 类 中 完成 两 个 任务 ， 建 立 接口 便于 轮 询 框 染 控制 每 一 次 轮 询 的 开始 和 结 
为 外 还 要 判断 是 否 发 生 了 某 种 状态 改变 事件 。 轮 询 类 的 相关 代码 如 下 : 


public class KinectControl 


lL 


NuiState preState; 
public NuiState PreviousState 
{ 

get { return preState; } 
} 
NuiState State; 
public NuiState CurrentState 
{ 

get { return State; } 
} 


Nui nui; 


public KinectControl (Nui nui) 
{ 
this.preState = null; 
this.nui = nui; 


} 


public void Begin() 

{ 
preState = new NuiStatel(State).; 
State = nui.CurrentState; 


j 


public pool TurnGestureState (NuiState.GestureStates e) 
{ 
if (preState.GestureState != e && State.GestureState == e) 
return true; 
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else 
return false; 


public bool IsGestureState(NuiState.GestureStates e) 
{ 
if (State.GestureState == e) 
return true; 
else 
return false; 


public bool StopGestureState(NuiState.GestureStates e) 
{ 
if (preState.GestureState == ee && State.GestureState != e) 
return true; 
else 
return false; 


public bool TurnpostureState(NuiState.PostureStates e) 
{ 
1if (preState.PostureState != ee && State.PostureState == e) 
return true; 
else 
return false; 


public pool IsPostureState (NuiState.PostureStates e) 
{ 
if (State.PostureState == e) 
return true; 
else 
return false; 


public bool StopPostureState(NuiState.PostureStates e) 
{ 
1if (preState.PostureState == ee && State.PostureState != e) 
return true; 
else 
return false; 


public pool IsHandsSpliting!l) 

{ 
float preLen= (preState.LeftPosition-preState.RightPosition) .Length(); 
float curLen=(State.LeftPosition-State.RightPosition) .Length(); 


if (curLen - preLen > 0.0f) 
return true; 

else 
return false; 


public bool IsHandsMerging () 
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(preState.LeftPosition - preState.RightPosition) .Length(); 
(State.LeftPosition - State.RightPosition) .Length(); 


float preLen 
float curLen 


if (preLen - curLen > 0.0f) 
return true; 
else 
return false; 
} 
} 


在 这 个 类 中 ,我 们 首先 声明 了 两 个 NuiState 对 象 : preState 和 State， 用 来 保存 当前 帧 和 
上 一 帧 的 状态 。 然后 使 用 Begin() 方 法 来 更 新 当前 帧 的 数据 ， 先 将 上 一 帧 的 数据 复制 到 
preState 中 ,再 获取 当前 帧 的 数据 。 

后 面 的 几 个 函数 都 是 用 来 处 理 状态 改变 事件 的 ， 它 们 的 具体 用 途 如 下 所 示 。 

D TurnGestureState: 检测 动作 是 否 在 当前 由 改变 到 了 有 茶 一 状态 。 

D IsGestureState: 检测 当前 帧 动作 是 否 为 某 一 状态 。 

口 StopGestureState: 检测 动作 是 否 在 当前 帧 终止 。 

口 TurnPostureState: 检测 姿态 是 否 在 当前 帧 改变 到 了 某 一 状态 。 

D IsPostureState: 检测 当前 帧 姿态 是 否 为 某 一 状态 。 

口 StopPostureState: 检测 姿态 是 否 在 当前 帧 终止 。 

D IsHandsSpliting/IsHandsMerging: 检测 双手 位 置 是 否 分 开 或 合并 。 

以 上 承 数 的 功能 均 为 比较 上 一 帧 和 当前 帧 的 数据 ,并 返回 相应 的 布尔 值 。 至 此 ,我们 就 完成 
了 一 整套 可 以 复 用 的 框架 , 便于 其 他 轮 询 框架 的 组 件 调 用 Kinect 获 得 的 数据 结果 。, 在 这 一 框架 中 ， 
其 他 组 件 仪 需 在 轮 询 方法 中 分 别 调用 Kinectcontrol 类 中 的 begin() 子 数 和 相应 的 状态 判断 区 
数 ， 即 可 得 到 所 知 的 结 采 。 


9.5.4 ”演示 框架 小 结 

在 轮 询 框 染 中 使 用 Kinec 钢 据 是 开发 者 经 党 过 到 的 情况 ,为 外 ， 在 软件 开发 的 过 程 中 ， 不 可 
能 所 有 的 开发 者 都 了 解 Kinect SDK 的 使 用 方法 , 因此 设计 一 个 合理 且 高 效 的 接口 也 是 必须 要 完成 
的 工作 。 该 项 目 提出 了 一 种 设计 模式 ， 即 封装 Kinect 的 全 部 操作 ， 仅 用 一 个 状态 类 来 传递 所 需 的 
数据 ， 同 时 对 轮 询 框 染 编 写 可 复 用 的 代码 来 傈 化 开发 过 程 ， 如 图 9-15 所 示 。 


Kinect Kinect 轮 询 类 Kinect Kinect 组 件 
EE” 一 


轮 询 组 件 


图 9-15 ”Kinect 组 件 与 轮 询 组件 交 互 方式 
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9.6 小结 


在 本 章 中 , 我 们 一 起 分 析 了 基于 Kinect SDK 的 应 用 , 学 习 了 它 是 如 何 利用 SDK 来 实现 所 需 功 
能 的 。 其 中 , 抠 取 人 物 彩色 图 像 的 实现 方法 较为 新 前， 灵活 地 运用 了 SDK 提 供 的 数据 ， 而 手势 姿 
态 以 及 语 首 识别 的 过 程 属于 常规 的 需求 , 我 们 使 用 了 一 个 第 三 方 的 开源 类 库 来 完成 , 节省 了 开发 
成 本 。 但 这 并 不 代表 这 个 项 目的 技术 实现 就 是 最 优秀 的 , 它 仪 仅 是 一 个 示例 、 一 个 引子 ,目的 是 
为 了 启发 大 家 利用 Kinect SDK 开 发 出 更 多 有 趣 且 实用 的 应 用 。 


Kinect 虚 拟 放 风 征 项 目的 
实现 


风筝 文化 是 我 国 重 要 的 非 物质 文化 遗产 。2006 年 5 月 20 日 ， 风 等 制 作 技艺 被 列 人 我 国 第 一 批 
国家 级 非 物质 文化 遗产 名 录 。 但 由 于 生活 市 和 加 快 , 活动 场地 有 限 , 放风 筝 的 人 越 来 越 少 。 另 外 ， 
由 于 老手 工艺 人 不 断 减 少 , 许多 风筝 制 作 扩 艺 逐渐 失传 ， 风 等 文化 有 着 濒临 绝迹 的 危机 ， 和 急需 得 
到 人 们 的 重视 和 保护 。 

那么 如 何 使 传统 的 风 等 文化 以 一 种 新 颖 的 方式 得 到 更 好 的 传承 呢 ? 本 章 介绍 的 Kinect 虚 拟 放 
风筝 项 目 就 提出 了 一 种 方案 ， 将 微软 最 新 的 Kinect 姿 势 识别 技术 与 风筝 文化 结合 ， 提 供 一 种 新 的 
虚拟 放风 竺 体验, 实现 风筝 的 室内 放飞 。 这 有 益 于 风筝 文化 的 传播 以 及 非 物 质 文 化 遗产 的 数字 化 
保护 。 


10.1 Kinect 虚拟 放风 筝 项 目 简介 


中 国 的 风筝 文化 源远流长 , 但 目前 放风 筝 活动 都 在 室外 进行 , 极 易 受 场 地 、 天 气 、 季 市 等 因 
素 的 影响 ,这 使 得 放飞 活动 受到 限制 ,也 阻碍 了 风 等 文化 的 发 扬 和 传播 。 本 项 目 结合 了 微软 最 新 
推出 的 体感 人 机 交互 设备 Kinect, 使 大 家 可 以 在 室内 “放风 筝 ”并且 还 在 项 目 中 穿插 了 各 种 有 关 
风筝 文化 的 介绍 。 虚 拟 放 风筝 项 目 示 意图 如 图 10-1 所 示 。 


图 10-1 虚拟 放风 笔 项 目 示 意图 
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Kinect 虚 拟 放 风 等 项 目 是 由 清华 大 学 美术 学 院 的 学 生 提 出 ,并 和 微软 亚洲 研究 院 合 作 完 成 的 。 
本 项 目 恰 到 好 处 地 利用 了 由 Kinect for Windows SDK 提 供 的 骨骼 追踪 数据 ， 使 玩家 可 以 通过 真实 
放飞 的 胶体 动作 实现 对 虚拟 风筝 的 控制 。 项 目 中 的 风筝 图 像 、 场 景 图 像 以 及 所 有 UI 元 素 都 是 由 清 
华 大 学 美术 学 院 的 学 生 手 绘 设计 完成 的 , 其 中 有 关 风 等 文化 的 介绍 也 全 部 由 他 们 调研 整理 。 这 使 
得 玩家 在 体验 虚拟 风筝 的 同时 ， 还 能 了 解 风 稳 文 化， 获得 艺术 票 陶 。 


10.2 技术 实现 概述 


总 的 来 说 ，Kinect 虚 拟 放 风筝 项 目 在 技术 实现 方面 分 为 两 部 分 : 玩家 姿势 的 识别 和 风筝 动画 
的 设计 。 玩 家 姿势 的 识别 主要 利用 了 Kinect for Windows SDK 提 供 的 骨骼 追踪 数据 ， 通 过 特定 骨 
名 点 的 空间 坐标 信息 来 设计 和 判定 控制 姿势 。 整个 软件 的 交互 操作 控制 以 及 放飞 模块 对 风 竺 的 控 
制 , 都 是 由 玩家 通过 姿势 和 手势 来 完成 的 。 而 由 玩家 姿势 触发 的 风筝 动画 则 是 通过 WPF 动 画 来 实 
现 的 ， 其 中 风筝 模型 以 及 放飞 场景 都 是 由 WPF 3D 绘 制 而 成 。 

由 于 本 项 目的 目的 是 传播 风筝 文化 ， 更 多 的 是 展示 文化 内 容 ， 并 实现 用 户 与 软件 间 的 交互 ， 
因此 我 们 选用 了 WPF 框 架 。 这 样 可 以 很 方便 地 调用 WPF 的 已 有 控件 ， 同 时 完成 3D 绘 图 和 一 些 人 简 
单 的 动画 效果 。 需 要 注音 的 是 ， 要 尽量 人 简化 3D 模 型 ， 以 提高 程序 的 性 能 。 

由 于 前 面 的 大 部 分 实例 程序 都 用 到 了 WPF 的 相关 知识 ,因此 本 草 在 介绍 技术 细 证 实现 时 , 对 
于 涉及 WPF 相 关 知 识 的 部 分 只 做 简略 介绍 。 如 果 想 要 深入 了 解 WPF 框 架 ， 请 读者 参阅 讲解 WPF 
应 用 开发 的 相关 图 书 。 

本 项 目的 亮点 在 于 结合 了 微软 Kinect 的 体感 交互 技术 ， 利 用 Kinect 提 供 的 骨骼 数据 ， 通 过 设 
计 和 识别 控制 姿势 , 使 玩家 能 够 更 加 自然 地 与 应 用 程序 进行 交互 。 后 面 几 市 会 详细 介绍 本 项 目 涉 
及 的 每 个 姿势 的 实现 细 市 。 男 外 ,由 于 我 们 已 经 在 前 几 章 中 详细 讲解 了 上 骨 散 数 据 的 一 些 基 本 知识 ， 
因此 本 章 将 重点 介绍 如 何 使 用 骨骼 数据 进行 姿势 的 识别 和 判定 。 其 中 的 方法 不 一 定 是 最 好 的 解决 
方案 , 这 里 仪 提 供 一 些 思 上 路， 帮助 读者 从 应 用 的 角度 进一步 理解 体感 交互 , 同时 也 希望 读者 在 此 
基础 上 提出 目 己 的 想法 和 解决 方案 。 


10.3 ”玩家 姿势 的 设计 和 识别 


实际 上 , 本 项 目 就 是 将 玩家 特定 的 姿势 映射 到 虚拟 场景 中 对 应 的 动画 ,因此 玩家 姿势 的 设计 
和 准确 识别 至 关 重 要 。 


10.3.1 玩家 姿势 的 设计 


在 本 项 目 中 ， 我 们 主要 设计 了 4 个 关键 动作 来 模拟 放飞 风筝 的 真实 体验 ， 并 通过 对 这 些 姿势 
动作 的 匹配 识别 来 驱动 风筝 模型 做 出 相应 的 动画 。 以 下 姿势 动作 主要 是 由 清华 大 学 美术 学 院 的 学 
生 设 计 和 绘制 。 
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口 双手 高 举 过 头 , 风筝 开始 起 飞 , 如 图 10-2 所 示 , 这 是 在 进入 放飞 模块 前 要 做 的 第 一 个 动作 。 
之 所 以 采用 这 种 姿势 局 动 程 序 ， 主 要 是 考虑 到 在 多 数 情况 下 人 的 双手 部 低 于 头 部 ， 这 桩 
其 他 多 余 的 姿势 动作 不 会 对 启动 命令 造成 干扰 。 


图 10-2 举 手 姿 势 示 意图 


口 左手 举 过 肩 ， 并 做 振 辟 动作， 风筝 会 发 高 、 必 十， 如 图 10-3 所 示 。 这 个 动作 结合 了 实际 放 
飞 时 人 们 最 常用 的 动作 一 一 举 手 来 回 拉 风 第 线 。 


摇摆 你 的 点 


图 10-3 ”振臂 动 作 示 意图 
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口 双 脚 原 地 踏步 ， 视 野 中 的 场景 会 随 之 而 动 ， 这 也 是 为 了 模拟 真实 的 情况 ， 如 图 10-4 所 示 。 
脚步 的 移动 更 能 增加 放风 筝 的 真实 感 。 


原 地 踏步 


图 10-4 踏步 动作 示意 图 


口 双手 在 号 前 交 义 转动 ,会 触发 收 线 效 末 ， 即 风筝 飞 低 、 飞 近 ， 如 图 10-5 所 示 。 这 个 动作 结 
合 了 放风 筝 时 收 线 的 动作 一 一 双手 交替 转动 线 轴 收 线 。 


双 拳 轴 心 转动 


图 10-5 ”转手 动作 示意 图 
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这 些 姿势 和 动作 都 是 根据 真实 的 放飞 体验 而 设计 的 。 同样, 恋 者 也 可 以 根据 目 己 的 项 目 需求 
行 设计 ， 当 然 也 要 同时 考虑 实现 难度 与 识别 稳定 性 。 


10.3.2 ”玩家 姿势 识别 的 实现 


玩家 姿势 的 识别 主要 是 利用 Kinect for Wy ee， 骼 追 蹊 数 据 来 实现 的 。 上 骨骼 
奶 蹊 数据 的 数据 结构 以 及 获取 方式 在 前 面 已 详细 介绍 过 , 这 里 束 不 再 缆 述 了 ， 只 介绍 如 何 通过 获 
取 的 骨骼 数据 来 识别 这 4 种 姿势 和 动作 。 

1. 双手 高 举 过 头 姿 势 的 识别 

识别 此 姿势 需要 用 到 头 部 、 左 手 和 右手 3 个 方 点 的 信息 ， 首 和 完 使 用 LINQ 语 句 从 每 一 帧 的 骨骼 
数据 中 提取 出 这 3 点 的 信息 。 接 下 来 判断 左 、 右 手书 点 的 位 置信 息 Y 坐 标 是 否 和 都 高 于 头 部 节点 的 Y 
坐标 ， 如 采 成 立 则 返回 真 但 。 同 时 也 可 以 加 入 一 个 确定 的 国信 来 进行 该 姿势 识别 的 微调 。 相 关 代 
但 如 下 : 


private bool CheckBothHandsOverHead (Skeleton S) 
{ 


Joint lefthandJoint = (from ] in s.Joints 

where Jj.JointType == JointType.HandLeft 

select JjJ) .FirstOrDefault(); 
Joint righthandJoint = (from ] in s.Joints 

where J.JointType == JointType.HandRight 

select JjJ) .FirstOrDefault(); 
Joint headJoint = (from ] In s.Joints 
where Jj.JointType == JointType.Head 


select ]) .FirstOrDefault (); 


if (lefthandJoint.Position.Y > headJoint.Position.Y &é& 
righthandJoint.Position.Y > headJoint.Position.Y) 
| 


return true; 


} 
return false; 


} 


2. 右手 举 过 肩 ， 并 做 振臂 动作 的 识别 

识别 此 动作 只 需 用 到 右手 和 右 肩 节点 的 信息 。 首 先 判 断 丰 手 节点 的 Y 坐 标 是 否 高 于 右 肩 节点 
的 Y 坐 标 ， 在 此 条 件 成 立 的 情况 下 判断 振臂 动作 。 判 断 振臂 动作 时 ， 需 要 记录 两 次 右手 节点 Z 坐 
标 和 右 肩 节点 Z 坐 标的 差 仁 ， 国 信 MIN_ShoulderRight_HandRight_Zz 的 大 小 是 通过 测试 得 到 
的 ， 可 以 进行 适当 的 调整 。 相 关 代码 如 下 : 


private bool CheckShakeRightHand (Skeleton S) 
{ 


六 


Joint righthandJoint = (from ] in s.Joints 
where J.JointType == JointType.HandRight 
select JjJ) .FirstOrDefault (); 

Joint shoulderRightJoint = (from ] in s.Joints 


where J.JointType == JointType.ShoulderRight 
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select ]) .FirstOrDefault(); 


if (!(righthandJoint.TrackingState == JointTrackingState.Tracked && 
shoulderRightJoint.TrackingState == JointTrackingState.Tracked)) 
return false; 

/ /右手 高 于 户 


If (righthandJoint.Position.Y > shoulderRightJoint.Position.Y) 
{ 

if (Math.Abs (shoulderRightJoint.Position.Z - righthandJoint.Position.Z) < 
MIN_ShoulderRight HandRight_ 2) 
shakeFlag = true; 
if (Math.Abs (shoulderRightJoint.Position.Z - righthandJoint.Position.2Z) > 
MIN_ShoulderRight HandRight 2 && shakeFlag) 


ShakeFlad = false; 
return true,; 


} 
return false; 


} 


3. 双 脚 原 地 踏步 动作 的 识别 

识别 该 动作 需要 用 到 左 膝 和 右 膝 两 个 节点 的 信息 ， 玩 家 在 原 地 踏步 时 这 两 点 的 Z 坐 标 相 对 位 
置 的 变换 比较 显 善 。 同 样 地 ， 识 别 此 动作 时 ， 也 需要 记录 两 次 的 数据 以 进行 判断 ， 靖 值 
MIN_KneeLeft_KneeRight 的 大 小 也 可 以 通过 测试 得 到 。 男 外 ， 还 能 通过 其 他 节点 在 踏步 过 程 
中 值 的 变化 来 进行 识别 ， 比 如 左 、 右 脚 节 点 。 


private bool CheckRunPosture (Skeleton 8s) 


{ 
Joint rightkneeJoint = (from ] in s.Joints 
where J.JointType == JointType.KneeRight 
select JjJ) .FirstOrDefault (); 
Joint leftkneeJoint = (from ] in s.Joints 
where J.JointType == JointType.KneeLeft 
select JjJ) .FirstOrDefault (); 
1if (!(rightkneeJoint.TrackingState == JointTrackingState.Tracked && 
leftkneeJoint.TrackingState == JointTrackingState.Tracked)) 
return false; 
if (leftkneeJoint.Position.Z - rightkneeJoint.Position.Z > 


MIN_ kKneeLeft KneeRight_zZ) 


runFlag = true; 

} 

1if ((rightkneeJoint.Position.Z - leftkneeJoint.Position.Z2 > 
MIN_ KneeLeft _ KneeRight 2) && runFlag) 


runFlag = false; 
return true; 
} 


return false; 
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4. 双手 在 身 前 交叉 转动 动作 的 识别 

识别 此 动作 需要 用 到 左 、 右 手 节 点 的 信息 ， 通 过 测试 观察 发 现 ， 在 玩家 做 此 劲 作 时 ， 双 手 的 
X 坐 标 差 值 保持 在 一 定 范 于 内 ， 而 双手 的 Y 坐 标 差 值 则 有 显 考 的 周期 性 变化 。 在 进行 此 动作 的 识 
别 时 ， 可 以 利用 这 些 特征 诈 移 判断 左 、 碳 手记 点 的 X 坐 标的 差 值 是 否 处 于 一 定 的 国 值 范围 内 ， 此 
条 件 成 立 才 进行 下 一 步 判断 , 这 一 条 件 能 有 效 地 提高 此 动作 识别 的 准确 性 和 稳定 性 。 进 一 步 判断 
双手 Y 值 的 变化 时 ， 同 样 也 需要 通过 两 次 判断 得 出 结论 。 相 天 代码 如 下 : 


private bool CheckHandsCross (Skeleton gs) 


l 


Joint lefthandJoint = (from ] in s.Joints 
where Jj.JointType == JointType.HandLeft 
select JjJ) .FirstOrDefault(); 
Joint righthandJoint = (from ] in s.Joints 
where J.JointType == JointType.HandRight 
select JjJ) .FirstOrDefault(); 
if (!(lefthandJoint.TrackingState == JointTrackingState.Tracked && 
righthandJoint.TrackingState == JointTrackingState.Tracked)) 
return false; 
// 双 手 靠 近 


if (Math.Abs (lefthandJoint.Position.X - righthandJoint.Position.X) < 
MAX_ HandLeft HandRight_ xXx) 
{ 
if (righthandJoint.Position.Y - lefthandJoint.Position.Y > 
MIN_ HandLeft HandRight_Y) 
crossFlag = true; 
if (lefthandJoint.Position.Y - righthandJoint.Position.Y > 
MIN HandLeft HandRight_Y && crossFlag) 


crossFlag = false; 
return true,; 


】 


return false， 


} 
同一 姿势 的 识别 方法 不 止 一 种 , 读者 可 以 根据 自己 的 项 目 需求 进行 评 佑 , 使 用 准确 性 和 稳定 
性 最 好 的 方法 。 其 中 的 国 值 则 是 经 过 多 次 试验 得 到 的 经 验 数 据 , 需要 该 者 根据 具体 情况 进行 选择 。 


10.4 目 然 交互 按钮 和 光标 的 实现 


传统 意义 上 ， 应 用 程序 和 用 户 之 间 最 直接 的 交互 少不了 按钮 和 光标 ， 而 Kinect 应 用 要求 用 户 
使 用 体感 控制 ， 其 交互 方式 与 传统 方式 有 很 大 的 不 同 。 这 种 “ 目 然 交 互 ” 式 的 按钮 和 光标 也 是 
Kinect 应 用 开发 中 使 用 频率 相当 高 的 组 件 ， 因 此 本 节 将 着 重 介绍 这 种 交互 方式 的 简单 实现 方法 : 
将 光标 元 系 与 手书 点 绑 定 , 通过 移动 手 的 位 置 来 移动 光标 ; 当 放 标 在 想 要 选择 的 按钮 上 悬 俘 几 秘 
后 ， 则 触发 按钮 单 击 的 事件 。 
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10.4.1 目 定 义 光标 


在 项 目 中 添加 一 个 用 户 控件 , 即 “User Control(WPF)”, 命名 为 “CursorUserControl”, 如 图 10-6 
所 示 。Visual Studio 2010 会 目 动 为 项 目 添加 “CursorUserControl.xaml” 和 “CursorUserControl.xaml.cs” 
两 个 文件 。 


Add New Item - KiteRunner [ee 


Installed Templates 


Search Installed Templates 


于 


4 Visual C# 
Code 
Data 
General Interface Visual C# 
Web 
Windows Forms 
WPF 
Reporting 
Workflow 
XNA Game Studio 4.0 


二 Type: Visual C# 


CC 
-x 
山 


Class Visual C# 
Windows Presentation Foundation user 
control 


Windows Form Visual C# 


User Control Visual C# 


曲柄 | | 


Component Class Visual C# 
Online Templates 


留 Window (WPPF) Visual C# 


| @ | Page WPA) Visual C# 


填 一 | User Control (WPPF) Visual C# 


?0 Resource Dictionary (WPPF) Visual C# 


六 About Box Visual C# 
Gy ADO.NET Entity Data Model Visual C# 
Gy ADO.NET EntityObject Generator Visual C# 


ADO.NET Self-Tracking Entity Generator Visual C# 


CursofuserControlxamnl 


图 10-6 “新 建 用 户 控件 
在 CursorUserControl.xaml 文 件 中 是 制 光 标的 样式 。 针 对 本 项 目 ， 当 光标 悬 停 在 按钮 上 时 ， 会 
触发 蓝 色 阴影 注 满 光 标的 动画 ， 设 计 代 码 如 下 所 示 。 


<Grid x:Name="animateGrid" RenderTransformOrigin="0.5,0.5"> 
<Image HorizontalAlignment="Left" 


Margin="0" 

Name="ijmagel" 

Stretch="Uniform" 

Source="JImages/Button/kiteCursor.png" VerticalAlignment="Top" /> 
<Ellipse HorizontalAlignment="Left" 


Margin="0" 
Name="ellipsel" 
Stroke="Blue" 
VerticalAlignment="Top" 
Widthn=s"50" 
Height="50"/> 

<Ellipse HorizontalAlignment="Left" 
Margin="0" 
Name="animateEllipe" 
Stroke="Blue" 
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VerticalAlignment="Bottom" 
Width="50" 
Height="0" 
Fill="Blue" 
Opacity="0.5"/> 

</Grid> 


Image 控 件 设置 光标 的 配 图 , 第 一 个 Ellipse 控 件 用 来 圈 出 光标 的 轮廓 , 第 二 个 Ellipse 控 件 窗 六 
在 第 一 个 Ellipse 上 ， 填 充 为 半 透 明 的 蓝 色 ， 融 度 初始 化 为 90， 逐渐 注 满 阴影 的 动画 其 实 就 是 逐渐 


增加 第 二 个 Ellipse 的 高 度 值 。 正 常情 况 和 注 满 阴 影 的 光标 设计 效果 如 图 10-7 所 示 。 


图 10-7 ”光标 设计 图 
目 定 义 光 标 控件 的 后 台 代 码 值 , 将 右手 市 点 的 位 置 坐 标 关 联 到 光标 的 位 置 属性 上 即 可 。 相 关 
代码 如 下 : 


public void SetPosition(Point pos) 


' 


Canvas.SetTop(this, pos.Y - 25) ; 
Canvas.SetLeft (this, pos.X - 25);} 
} 


10.4.2 ” 目 定 义 按钮 


同 前 面 一 样 ， 在 项 目 中 添加 一 个 用 户 控件 ,命名 为 “HoverButton”， 代 表 自 定义 按钮 控件 。 
Visual Studio 2010 会 自动 为 项 目 添 加 “HoverButton.xaml” 和 “HoverButton.xaml.cs” 两 个 文件 。 

在 HoverButton.xaml 中 定制 按钮 的 样式 。 人 针对 本 项 目 ， 按 钮 将 全 部 以 图 片 表示 ， 因 此 只 和 需 添 
加 一 个 Image 控 件 用 于 容纳 图 片 ， 填 充 的 图 片 需要 动态 绑 定 。 相 关 代 人 码 如 下 : 

<Grid> 


<Image Source="{Binding JImageSource}" Stretch="Fil]l1"/> 
</Grid> 


接 者 在 后 台 代 人 码 ( 即 HoverButton.xaml.cs 文 件 ) 中 添加 单 击 事件 处 理 、 动 画 等 功能 。 从 文件 
目 动 生成 的 代码 中 可 以 看 出 ，HoverButton 继 承 于 UserControl 类 ，。 

以 下 是 按钮 动画 的 编写 步骤 及 单 击 事件 的 绑 定 和 啊 应 过 程 。 

(1) 为 添加 的 Imnage 欣 件 提供 对 外 的 接口 ， 以 便于 在 程序 中 添加 HoverButton 时 设置 相应 的 
图 请 源 。 代 人 码 如 下 所 示 ， 注 意 属 性 名 称 要 与 控件 绑 定 的 名 称 一 致 。 
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public string ImageSource 
{ 
get { return (string)this.GetValue (ImageSourceProperty); } 
set { this.SetValue (ImageSourceProperty, value); } 
} 
public static readonly DependencyProperty ImageSourceProperty = 
DependencyProperty.Register("JImageSource", typeof (string), 
typeof (HoverButton), 
new PropertyMetadata("")).; 


(2) 定义 单机 事件 的 委托 ， 相 关 代 码 如 下 : 


public delegate void ClickHandler (object sender, EventArgs e); 
public event ClickHandler Click; 


(3) 判断 光标 是 否 悬 停 在 按钮 范围 内 ， 驳 取 到 交 标 中 心 点 的 坐标 ， 然 后 通过 按钮 的 位 置 和 宽 
高 计算 按钮 的 表示 犯 于 ， 最 后 判断 光标 中 心 点 是 人 否 在 按钮 范 于 内 。 相 关 代 码 如 下 : 


public bool CursorInBULLon (FrameworkElement MyCursor) 
{ 


Point CursorPos = MyCursor.PointToScreen (new Point ());} 


double CursorMidxX = CursorPos.X + (MyCursor.ActualWiqdth / 2); 
double CursorMidY = CursorPos.Y + (MyCursor.ActualHeight/ 2); 


Point HoverButPos = this.PointToScreen (new Point()); 

double HoverButLeft = HoverButPos.xX; 

double HoverButRight = HoverButLeft + this.ActualWidth; 
double HoverButTop = HoverButPos.Y.; 

double HoverButBottom = HoverButPos.Y + this.ActualHeight.; 
if (CursorMidx < HoverButLeft || CursorMidx > HoverButRight 


CursorMidY < HoverButTop || CursorMidY > HoverButBottom) 


return false; 
else 
return true; 


} 


(4) 程序 会 不 停 地 判断 光标 是 否 在 按钮 范围 内 。 如 果 在 ， 则 触发 一 段 动画 ， 即 蓝 色 阴影 逐渐 
注 满 光标 元 素 ， 时 长 为 2 秒 。 代 码 中 注册 了 代表 此 动画 完成 的 事件 cursorFil1l_Completed， 当 
光标 悬 停 在 按钮 上 的 时 间 达 到 2 秒 ， 即 动画 完成 时 会 触发 该 事件 ;如 果 光 标 在 阴影 注 满 之 前 就 离 
开 了 按钮 ， 则 会 结束 动画 ， 恢 复 光 标 状 态 ， 相 关 代 码 如 下 所 示 。( 关于 WPF 动 夯实 现 的 原理 ， 这 


里 就 不 展开 介绍 了 ， 请 读者 参阅 相关 的 WPF 书 籍 。) 


private Duration HoverDuration = new Duration(new TimeSpan(0,o, 


private Duration ReverseDuration=new Duration(new TimeSpan(0,o, 
public bool IsHovered (FrameworkElement MyCursor) 


{ 


i1f (CursorIinButton (MyCursor)) 

{ 
BeginHover ( (CursorUserControl)MyCursor),; 
return true; 

} 


else 


2 
1 


J 
) ) 


. 
7 
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EndHover ( (CursorUserControl)MyCursor).; 
return false; 


private void BeginHover (CursorUserControl m cursor) 


try 
{ 
1If (IsHovering == false) 
{ 
IsHovering = true; 
ScaleTransform Scale = new ScaleTransform(1.1, 1.2); 
//MyGrid.RenderTransform = scale; 
m cursor.animateGrid.RenderTransform = scale; 
CursorFill] = new DoubleAnimation(m cursor.animateEllipe.ActualHeight, 


m cursor.ActualHeight, HoverDuration);} 
CursorFill.Completed += new EventHandler (CursorFill Completed); 
m cursor.animateEllipe.BeginAnimation (Canvas.HeightProperty, 


CursorFill):; 


} 


catch (Exception ex) 


{ 


MessageBox.Show (ex.ToString()).; 


private void EndHover (CursorUserControl m cursor) 


I 


if (IsHovering == true) 
IsHovering = false; 
ScaleTransform Scale = new ScaleTransform(1.0, 1.0); 
m cursor.animateGrid.RenderTransform = scale; 
CursorFill.Completed -= CursorFill Completed; 
CursorFill = new DoubleAnimation(m cursor.animateFEllipe.ActualHeight, 0, 


ReverseDuration);} 
m cursor.animateFEllipe.BeginAnimation (Ellipse.HeightProperty, CursorFil1l1); 


) 
(5) 前 面 提 到 ， 当 光标 悬 何在 按钮 上 的 时 间 达 到 2 秒 ， 即 阴影 注 满 光标 的 动画 完成 后 会 触发 动 
画 完 成 事件 ， 而 动画 完成 事件 则 会 触发 单 击 按钮 事件 。 相 关 代 码 如 下 : 


private void CursorFill] Completed(object sender, EventArgs e) 


I 


IsHovering = false; 
if (Click != null) Click(this, e); 
CursorFill.BeginAnimation (Ellipse.HeightProperty, null); 


10.5 风筝 动画 的 实现 117 


至 此 , 自 定 义 的 按钮 和 光标 就 完成 了 。 读 者 也 可 以 按照 类 似 的 方法 , 根据 自己 的 需求 和 设计 
目 定义 光标 和 按钮 。 


10.5 ”风筝 动画 的 实现 


针对 玩家 做 出 的 不 同 姿 势 和 动作 ， 风 等 会 以 飞 上 、 尺 下 等 动画 来 啊 应 ,本 项 目 中 的 风筝 动画 
是 通过 WPF 动 画 设计 来 实现 的 。 简 而 言 之 ,WPF 动 画 本 质 上 就 是 在 一 段 时 间 间 隔 内 修改 依赖 项 属 
性 值 的 一 种 方式 ,也 就 是 说 ，WPF 动 画 是 基于 时 间 和 属性 的 动画 。 比 如 ,为 了 增 大 和 缩 小 一 个 按 
钮 ， 可 以 在 动画 中 修改 按钮 的 宽度 。 

风筝 放飞 的 场景 设计 为 WPF 3D 绘 图 , 这 里 可 以 将 风筝 视 为 一 个 3D 模 型 的 对 象 , 风筝 的 飞 高 、 
飞 低 其 实 束 是 改变 风 竺 模型 在 3D 场 景 中 的 Y 坐 标 ; 同样 ， 风 筝 的 飞 远 、 飞 近 就 是 改变 风 等 醒 型 在 
场景 中 的 Z 坐 标 。 此 外 ， 还 会 用 到 风 竺 模型 的 旋转 轴 和 旋转 角度 属性 。 下 面 将 通过 几 个 动画 来 介 
绍 具体 的 实现 方法 ， 其 他 动画 大 同 小 异 。 

1. 起 飞 动 画 的 实现 

风筝 起 飞 动 画 其 实 就 是 风筝 从 地 面 瞬 间 发 高、 发 远 ， 如 下 列 代 码 所 示 。 其 中 ， 飞 远 动 画 修改 
的 是 风筝 模型 kiteTrans lateTransform3D 的 TranslateTransform3D.Of fsetZProperty 
属性 值 ， 该 值 越 小 ， 玩 家 视野 中 的 风筝 就 越 远 ， 代码 中 的 相应 部 分 表示 在 0.5 秒 的 时 间 内 ,该 属性 值 
由 初始 值 0 改变 为 -20; 而 飞 高 动 画 则 是 将 风筝 模型 的 TranslateTransform3D.0Of fsetYProperty 
属性 值 ， 在 0.5 秒 内 由 初始 值 0 改 变 为 10。 


private void StartAnlmate ( ) 


{ 


/7 飞 远 

DoubleAnimation zAnimation = new DoubleAnimation().; 

ZAnimation.To = -20; 

zAnimation.Duration = TimeSpan.FromSeconds (0.5) ; 

KiteTranslateTransform3D.BeginAnimation (TranslateTransform3D.OffsetZProperty, 
ZzAnimation),; 

// 飞 高 

DoubleAnimation yAnimation = new DoubleAnimation(); 

yAnimation.To = 10; 

yAnimation.Duration = TimeSpan.FromSeconds (0.5); 

KiteTranslateTransform3D.BeginAnimation (TranslateTransform3D.OffsetYProperty, 
yAnimat1ion).; 


) 

当 玩 家 振动 右 臂 时， 风筝 飞 高 、 飞 远 的 动画 跟 起 飞 动画 相似 ， 只 不 过 每 次 振臂 ， 风筝 模型 相 
应 属性 值 改变 的 幅度 不 一 样 。 同 样 ， 玩 家 做 收 线 动 作 时 ， 风 筝 发 低 、 飞 近 的 动画 相当 于 把 风筝 发 
高 、 飞 远 的 动画 反 过 来 。 

2. 晃动 动画 的 实现 

为 了 使 风筝 的 动画 更 加 生动 ， 而 不 是 生 便 地 飞 高 、 飞 低 ， 当 风筝 起 飞 后 ， 要 让 它 不 停 地 左右 
摆动 。 风 筝 晃动 动画 需要 以 (0,1,0) 为 旋转 轴 ，, 并 将 风筝 的 旋转 角度 属性 AxisangleRotation3D. 
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AngleProperty 从 5 改变 到 -5， 时 间 间 隔 为 1 秒 。 将 该 动画 的 AutoReverse 属 性 设置 为 tue， 可 
以 使 该 动画 完成 之 后 自动 反 转 ， 即 属性 值 再 从 -5 改变 到 5。 实 现代 码 如 下 所 示 : 


private void SwingAnimate() 


{ 


swingAnimateFlag = false; 
//myAxis.Angle = 5.0; 
this.swingAnimation = new DoubleAnimation(); 


swingAnimation.From = 5; 

swingAnimation.To = -5; 

swingAnimation.Duration = TimeSpan.FromSeconds ( 工 ) ; 
swingAnimation.AutoReverse = true; 
this.swingAnimation.Completed += swingAnimation Completed; 
KiteAxis.Axis = new Vector3D(0, 1, 0);} 


KiteAxis.BeginAnimation (AxisAngleRotation3D.AngleProperty, swingAnimation).; 


} 


private void swingAnimation Completed(object sender, EventArgs e) 


I 


swingAnimateFlag = true; 
this.swingAnimation.BeginAnimation (AxisAngleRotation3D.AngleProperty, null).; 


} 


3. 风筝 附 落 动画 
风筝 险 沙 一 般 分 为 两 个 动作 ， 即 风筝 旋转 为 头 部 划 下 ,并 同时 下 落 。 其 实现 原理 与 前 面 的 动 


画 类 似 ， 相 关 代 码 如 下 : 


private void DropKiteAnimatel() 


{ 
if 
L 


} 


(flyingFlag == true) 


flyingFlag = false; 

/ /翻转 动画 

DoubleAnimation rolloverAnimation = new DoubleAnimation();} 
rolloverAnimation.By = 180; 

rolloverAnimation.Duration = TimeSpan.FromSeconds (5);，} 

KiteAxis.Axis = new Vector3D(0, 0, this.KiteTranslateTransform3D.Offsetz).; 
/ /调整 旋转 轴线 

KiteAxis.BeginAnimation (AxisAngleRotation3D.AngleProperty, rolloverAnimation); 


/ /下 落 动 画 

dropHeight = this.KiteTranslateTransform3D.OffsetyYyY; 

dropAnimation = new DoubleAnimation();} 

dropAnimation.To = 0; 

dropAnimation.Duration = TimeSpan.FromSeconds (5);，} 
dropAnimation.Completed += new EventHandler (dropAnimation Completed); 
KiteTranslateTransform3D.BeginAnimation (TranslateTransform3D.OffsetYProperty, 


dropAnimation); 


这 里 仅 介绍 了 几 个 主要 动画 的 实现 过 程 , 要 想 在 整个 风 等 的 放飞 过 程 中 实现 流畅 体验 还 要 畏 


以 更 加 复杂 的 处 理 流程 ， 这 里 就 不 作 介绍 了 。 毕 苋 本 市 的 重点 是 讲述 与 Kinect 体 感 交 互 技术 相关 


的 实现 过 程 。 
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10.6 ”项目 操作 流程 


本 项 目 中 的 操作 完全 由 用 户 的 姿势 和 动作 控制 ,包括 选择 、 设 置 、 放 飞 等 ， 且 仅 支 持 一 个 玩 
家 进行 操作 。 首 先 将 Kinect 设 备 连 接 到 电脑 ， 在 电脑 上 运行 应 用 程序 ， 玩 家 需 站 在 Kinect 的 最 佳 
识别 区 域内 进行 操作 ， 大 概 距 离 Kinect 设 备 1.5 ~ 2 米 。 具 体 的 操作 流程 如 下 所 示 。 

(1) 首先 进入 欢迎 页 面 ， 如 图 10-8 所 示 。 


旋风 学 


The Kite Player 


图 10-8 初始 界面 


通过 挥动 右手 ， 将 风 稳 样式 光标 移动 到 中 间 的 风筝 LOGO 上 ， 悬 停 2 秒 竺 阴影 注 满 光 标 即 可 
进入 下 一 个 页 面 一 一 选择 风筝 页 面 ， 如 图 10-9 所 示 。 


图 10-9 ” 单 击 “开始 ”按钮 
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CO) 选择 风筝 页 面 如 图 10-10 所 示 。 进 入 该 页 面 后 ， 系 统 会 目 动 播放 关于 风 等 历史、 文化 的 音 
频 。 此 外 ， 玩 家 还 可 以 在 这 里 选择 风 等 的 样式 ， 共 有 5 类 。 


六 汽 风 学 


Select Your favor 


Ee x 
J 


软 起 风筝 硬 拍 子 风筝 软 拍 子 风筝 伞 必 类 风筝 


Soft-winged Hard beat kite Soft beat kite Umbrella-winged 


立刻 放飞 
Fly a kite 


< 


图 10-10 ”选择 风筝 界面 
当选 中 一 种 风筝 样式 后 ， 音 频 会 自动 切换 为 介绍 该 样式 风筝 的 内 容 ， 如 图 10-11 所 示 。 


本 


硬 翅 风筝 软 翅 风 等 硬 拍 子 风筝 软 拍子 风筝 ” 伞 必 类 风筝 


Hard-winged Soft-winged Hard beat kite Soft beat kite Umbrella-winged 


立刻 放飞 
Fly a kite 
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选择 “立刻 放飞 ”将 进入 风筝 放飞 页 面 ， 此 时 放飞 场景 中 的 风筝 即 为 刚刚 选中 的 样式 ， 如 图 
10-12 所 示 。 


所 网, 学 


Select Your favor 


二 


软 翅 风筝 硬 拍 子 风 筝 软 拍子 风 笔 伞 受 类 风筝 | 


Soft-winged Hard beat kite Soft beat kite Umbrella-winged 


oe—— 


a 二 


图 10-12 ” 单 击 “立刻 放飞 ”按钮 


(3) 进入 放飞 页 面 后 , 玩家 就 可 以 使 用 前 面 介 绍 的 姿势 来 控制 放飞 场景 中 的 风筝 了 。 图 10-13、 
图 10-14 为 风筝 放飞 和 坠落 的 截图 。 


@ page — ~ [= | Erle 


图 10-13 ”放飞 界面 
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@ page 人 [= [Eee 


图 10-14 ”风筝 落下 


(4) 当 放 飞 结束 后 会 跳出 如 图 10-15 所 示 的 页 面 ， 玩 家 可 以 重新 选择 风 竺 或 重 玩 一 次 。 


问 page 人 [= | Erle 


放飞 结束 


Game Over 


重新 选择 | es 来 一 次 


Select again 


图 10-1$ ”放飞 结束 界面 
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10.7 ”小结 


Kinect 虚 拟 放 风 和 项目 绅 在 以 一 种 新 的 形式 对 中 国 传统 的 风筝 文化 进行 传播 ， 其 中 微软 最 新 
的 Kinect 体 感 交 互 技术 起 到 了 关键 作用 。Kinect for Windows SDK 支 持 人 体 骨 架 点 的 实时 捕获 ,这 
使 得 玩家 可 以 通过 模拟 实际 放风 征 时 的 姿势 和 动作 来 控制 虚拟 的 风 徊 模型。 新 新 的 技术 和 传统 的 
文化 相 结 合 ， 必 将 吸引 更 多 的 年 轻 人 加 入 到 风筝 文化 的 传播 中 来 。 


Kinect 全 明显 示 


全 息 显 示 是 利用 已 有 的 物体 三 维 信息 , 利用 光学 干涉 的 原理 , 在 现实 场景 中 真实 重 现 其 三 维 
图 像 的 技术 ， 可 以 使 观察 者 身 临 其 境 。 但 是 现 有 的 解决 方案 成 本 高 昂 ， 同 时 还 存在 显示 色彩 少 、 
分 辩 率 低 等 不 足 之 处 。 本 章 选 取 的 项 目 男 辟 踩 径 ， 巧妙 地 利用 了 Kinect SDK 提 供 的 骨骼 点 追踪 功 
能 ， 结 合 普通 的 显示 屏 或 者 投影 仪 即 可 实现 全 息 显示 的 效果 。 

不 仅 如 此 ,该 项 目 还 以 保护 文化 遗产 为 主题 ,被 应 用 在 博物 馆 文 物 展示 中 ,具有 较 高 的 社会 
意义 。 因 此 它 也 晋级 了 2012 微 软 精英 大 挑战 决赛 ， 并 获得 了 三 等 奖 的 优异 成 绩 。 


11.1 Kinect 全 息 显 示 简 介 


现今 的 博物 馆 中 存在 很 多 损毁 、 需 要 特别 保护 或 者 由 于 其 他 各 种 原因 而 无 法 实物 展览 的 文 
物 。 针 对 这 些 文物 ， 博 物 馆 一 般 会 采用 虚拟 方式 四 游客 展览 ， 即 先 对 文物 进行 3D 建 醒 ， 将 其 全 
部 的 外 观 信 息 进 行 数 字 化 记录 ,然后 借助 屏 用 展示 虚拟 的 文物 。 此 外 , 还 有 很 多 旅游 景点 也 在 其 
网 站 上 实现 了 类 似 于 虚拟 全 景 游 哆 的 功能 , 让 大 家 足 不 出 户 就 可 以 至 受到 旅行 的 快乐 。 但 是 这 些 
方法 存在 一 个 共同 的 问题 一 一 真实 感 较 差 。 虽然 具有 原始 文物 和 景观 的 3D 人 信息， 但 通过 显示 介 
质 ， 比 如 电脑 显示 希 、 电 视 机 屏幕 、 投 影 仪 和 广告 牌 的 奖 幕 等 显示 出 来 的 图 像 和 都 局 限于 平面 。 无 
论 我 们 从 哪个 角度 观看 , 看 到 的 都 是 相同 的 画面 , 束 像 一 幅 纸 质 的 画 , 无 法 达到 号 临 其 境 的 效 末 。 
即便 是 现在 热门 的 3D 显 示 技 术 ， 也 只 是 让 左 眼 和 右 眼 看 到 两 个 不 同 的 平面 而 已 ， 而 这 两 个 面 实 
际 上 也 是 回 定 不 变 的 。 

因此 ,如 何 让 人 们 在 参观 虚拟 文物 或 网 上 和 博物馆 时 ， 如 同 走 和 人 虚拟 世界 ,真切 地 感受 到 眼前 
物体 的 存在 , 驶 成 为 了 咪 行 解决 的 问题 。 而 该 项 目 就 是 为 了 解决 这 一 问题 而 符 试 的 一 种 体验 方法 。 
它 采 用 了 全 上 县 显示 技术 , 根据 文物 已 有 的 三 维 信息 ,全 方位 地 进行 显示 ,让 观察 者 在 任何 位 置 者 
能 看 到 相应 图 像 ， 如 同 观 察 实物 一 样 。 通 过 这 种 方法 ， 大幅 增 强 了 虚拟 文物 展览 的 游客 体验 ， 同 
时 也 消除 了 很 多 珍贵 文物 因 种 种 原因 不 能 以 实体 方式 展现 的 缺憾 。 


11.2 技术 实现 概述 
在 讨论 这 个 项 目的 技术 实现 之 前 ， 我 们 先 来 看 这 样 一 个 场景 。 电 影 《 碟 中 谍 4》 中 ， 主 角 和 
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他 的 同伴 潜入 元 林 姆 林 宫 。 为 了 在 不 惊动 营 卫 的 情况 下 通过 一 个 甬道 , 他 们 在 甬道 中 文 起 了 一 整 
块 雄 布 ,并 在 上 面 投 影 出 名 布 后 面 的 影像 , 同时 根据 表 道 尽头 党 卫 的 眼睛 位 置 实时 更 新 投影 图 像 ， 
使 他 根本 无 法 察觉 幕布 的 存在 ， 他 所 看 到 的 影像 和 真实 的 甬道 一 样 。 这 就 是 全 息 显 示 。 

传统 的 全 上 县 显示 实现 方案 ,有 的 成 本 太 高 ， 有 的 分 辨 率 低 ， 有 的 则 只 能 进行 单 色 显示 ,， 这 使 
得 该 拉 术 很 难 在 博物 馆 日 第 展览 中 得 到 应 用 ,而 该 项 目 采 用 的 技术 方 菜 在 本 质 上 和 前 面 提 到 的 电 
影 中 的 技术 相同 ， 即 跟踪 使 用 者 眼睛 的 空间 位 置 ， 并 在 屏幕 上 绘制 该 视角 下 能 看 到 的 图 像 ， 达 到 
以 假 乱 真 的 效果 。 但 与 之 不 同 的 是 , 在 跟踪 使 用 者 的 眼睛 位 置 时 , 使 用 了 更 加 准确 旦 实时 性 较 高 
的 Kinect 技 术 。 这 样 既 实 现 了 全 居 显 示 的 效果 ， 又 避免 了 单 色 、 分 辨 率 低 等 显示 效果 差 的 问题 ， 
使 整个 方案 廉价 易 行 。Kinect 全 县 显示 技术 实现 示意 图 如 图 11-1 所 示 。 


无 Kinect 全 息 显 示 
(观察 者 很 明显 发 现 屏幕 平面 ) 


有 Kinect 全 息 显 示 
(物体 在 屏幕 上 的 投影 随 之 改变 ) 


图 11-1 Kinect 全 息 显 示 技 术 实 现 示意 图 
为 了 达到 这 种 效果 ， 整 个 项 目 分 三 部 分 来 实现 。 
(1) 利用 Kinect 设 备 捕 捉 观 察 者 的 头 部 位 置 ， 便 于 以 后 调整 屏幕 投射 视角 使 用 。 
(2) 基本 三 维 图 形 引 擎 绘制 模型 。 


一 
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(3) 根据 头 部 位 置 调整 投影 矩阵 ， 绘 制 出 最 终 的 图 像 。 

本 章 将 在 后 面 三 节 中 分 别 对 这 三 部 分 进行 分 析 , 并 完成 相应 的 代码 实现 。 其 中 , 三 维 图 形 引 
擎 并 不 涉及 Kinect 相 关 知 识 ， 不 是 本 书 讲述 的 重点 ， 因 此 这 里 仅 介 绍 图 形 学 的 基础 知识 ， 以 便 读 
者 理解 整个 项 目的 实现 原理 。 另 外 ， 该 项 目 代码 是 基于 XNA 4.0 框 架 编写 的 ， 不 熟悉 XNA 框 架 的 
读者 ， 可 以 先 阅读 本 书 的 9.5 节 ， 或 者 通过 其 他 相关 书籍 ， 了 解 XNA 框 架 的 基本 运行 方式 ， 以 便 
理解 相关 代码 。 


11.3 ”Kinect 捕捉 头 部 坐标 
从 本 节 开 始 ， 我 们 正式 进行 项 目 技术 实现 的 分 析 ， 首 先 要 完成 利用 Kinect 捕 捉 头 部 位 置 的 组 


件 , 在 Kinect SDK 提 供 的 骨骼 数据 支持 下 ,可 以 很 容易 地 完成 这 一 功能 。 由 于 整个 项 目 是 基于 XNA 
框架 的 ， 因 此 需要 将 此 功能 封装 在 一 个 XNA 组 件 中 。 


11.3.1 创建 用 于 捕捉 头 部 位 置 的 Kinect 组 件 类 


首先 在 Visual Studio 2010 中 新 建 一 个 C# 类 , 然后 选取 Visual C#-—>XNA Game Studio 4.0 一 Game 
Component 模 板 ， 将 其 命名 为 “KinectComponent.cs”， 如 图 11-2 所 示 。 我 们 将 在 这 个 类 中 完成 本 
节 的 全 部 工作 。 


TE 
ER SB | 一 


4 Visual C# 1 类 型 : Visual C# 
六 Game Component Visual C# i 


Web 

, Creates a new game component for 
Windows Forms use in an XNA Framework game 
WPF 


常规 

代码 

数据 

Reporting 

Workflow 

XNA Game Studio 4.0 


a Content Importer Visual C# 
qx Content Processor Visual C# 


qx Content Type Reader Visual C# 


a Content Type Writer Visual C# 


KinectComponent.cs 


图 11-2” 在 Visual Studio 2010 中 新 建 Kinect 组 件 类 


11.3 Kinect 捕 提 头 部 坐标 


11.3.2 ”Kinect 初 始 化 以 及 头 部 位 置 获 取 


在 这 个 组 件 类 中 ， 我 们 需要 完成 三 部 分 的 工作 : Kinect 初 始 化 、 获 取 各 个 合法 的 数据 、 


头 部 位 置 。 具 体 代 码 如 下 : 


public class KinectComponent : Microsoft.xXna.Framework.GameComponent 


DateTime now; 


DateTime past,; 


KinectSensor kinect.; 


public int KinectID = -1; 
public Vector head = new Vector();} 


public Vector3 Headposition 
{ 
Get 
{ 
return new Vector3( (float)head.x, (float)head.Y, (float)head.2); 


public float HeadDepth 
{ 
Get 
{ 
return (float)head.2; 


public KinectComponent (Game game) 
base (game) 


public override void Initialize!() 
{ 
if (Runtime.Kinects.Count > 0) 
{ 
kinectSensor = (from sensor in KinectSensor.KinectSensors 
where sensor.Status == KinectStatus.Connected 
select sensor) .FirstOrDefault(); 
kinectSensor.SkeletonStream.Enable();} 
kinectSensor.Sstart (); 


kinectSensor.SkeletonFrameReady += 


new EventHandler<SkeletonFrameReadyEventArgs> (kinect _ SkeletonFrameReady); 


} 


base.Initialize(); 
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获取 


128 第 11 章 Kinect 全 息 显 示 


Y 


void kinect SkeletonFrameReady (object sender, SkeletonFrameReadyEventArgs e) 
{ 
bool flag = false; 
SkeletonFrame skeletonFrame = e.OpenSkeletonFrame() 
foreach (var user jin frame.Skeletons) 
if (user.TrackingID == KinectID &é& 
SkeletonTrackingState.Tracked == user.TrackingState) 


JointsCollection ] = user.Joints; 
head = Jj[JOoinNntID.Head] .Position; 
flag = true; 


past = System.DateTime .Now; 
break; 
} 
if (!flag) 
{ 
now = System.DateTime.Now; 
if ((now - past) .TotalMilliseconds > 1000) 


{ 
foreach (SkeletonData user in e.SkeletonFrame.Skeletons) 

1If (SkeletonTrackingState.Tracked == user.TrackingState) 

{ 
JointsCollection ] = user.Joints; 
head = Jj[JOoOinNntID.Head] .Position; 
KinectID = user.TrackingID; 
break; 


} 

下 面 分 别 介绍 这 三 项 工作 。 

1. Kinect 初 始 化 

因为 只 需要 捕获 头 部 位 置 ， 所 以 只 要 按照 惯例 开局 骨 旷 跟踪 模式 ， 并 注册 骨 融 回调 呆 效 


kinect SKeIetonFEanmeRead 旬 可。 


kinectSensor.SkeletonStream.Enable(); 
kinectSensor.Start();} 
kinectSensor.SkeletonFrameReady += 
new EventHandler<SkeletonFrameReadyEventArgs>(kinect_ SkeletonFrameReady); 


2. 获取 合法 骨骼 数据 并 记录 头 部 位 置 
由 于 投影 屏 磊 的 图 像 是 由 使 用 者 的 头 部 位 置 来 决定 的 , 因此 需要 你 证 对 单一 人 物 的 持续 性 跟 
踪 。 加 入 标记 变量 KinectID， 并 在 每 一 帧 都 进行 检测 ， 只 第 选 出 需要 跟 踩 的 骨骼 : 


if (user.TrackingID == KinectID && 
SkeletonTrackingState.Tracked == user.TrackingState) 


同时 ， 在 出 现 第 一 帧 以 及 跟 技 目标 人 物 的 情况 下 ， 需要 重新 记录 TrackingID。 为 了 避免 个 
别 骨 徐帆 中 人 物 追 踊 失 败 而 导致 的 重新 记录 , 这 里 加 入 两 个 时 间 戳 now 和 past,， 分 别 记录 上 一 次 
识别 到 目标 人 物 的 时 间 和 当前 丢失 帧 的 时 间 。 如 采 相 隔 超过 一 秒 就 可 以 重新 记录 TrackingID 了 : 
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if ((now - past).TotalMilliseconds > 1000) 
{ 
foreach (SkeletonData user in e.SkeletonFrame.Skeletons) 
if (SkeletonTrackingState.Tracked == user.TrackingState,) 
{ 
JointsCollection ] = user.Joints; 
head = JjJI[JoinNntID.Head] .Position; 
KinectID = user.TrackingID; 
break; 


} 
这 样 ， 我 们 就 将 原始 的 头 部 坐标 记录 到 Head 变 量 中 ， 以 供 下 一 步 处 理 。 


11.3.3 ”根据 Kinect 和 屏幕 的 位 置 天 系 转换 坐标 


目前 得 到 的 头 部 位 置 是 Kinect 坐 标 系 中 的 位 置 ， 因 此 需要 将 其 转换 为 屏幕 坐标 系 的 坐标 ， 如 
图 11-3 所 示 。 


及 LIECT 


举 标 有 


屏 攻 坐 标 系 
~ 


头 部 位 站 


图 11-3” 头 部 坐标 变换 


全 息 显示 的 调整 过 程 需 要 精确 的 相对 位 移 , 而 绝对 坐标 只 用 来 调整 虚拟 物体 的 初始 位 置 。 
此 并 不 需要 进行 过 于 精确 的 坐标 系 标定 过 程 ， 而 是 简单 地 采集 Kinect 和 和 屏 篆 的 相对 距离 以 及 旋转 
方向 ， 然 后 输入 到 程序 中 进行 坐标 变换 即 可 。 这 里 我 们 仅 考 虑 左旋 、 右 旋 、 上 仰 以 及 位 移 四 种 坐 
标 变换 方式 。 在 Kinect 组 件 类 中 添加 如 下 代码 : 


public static Vector3 KinectOffset = new Vector3 (0，0，0) 
public static pool LeftRotateBool = false; 
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public static bool RightRotateBool = false; 
public static bool UpsideBool = false; 


public void LeftRotate(Vector3 kinectVector) 
{ 
Vector head0; 
head0 = head; 
head.X = headq0.2 + kinectVector.x; 
head.Y = head0.Y + kinectVector.Y; 
headq.2 = -head0.X + kinectVector.2; 


public void RightRotate(Vector3 kinectVector) 
{ 
Vector head0; 
head0 = head; 
head.X = -head0.2 + kinectVector.x; 
head.Y = head0.Y + kinectVector.Y; 
head.2z = head0.X + kinectVector.2; 


public void Upside(Vector3 kinectVector) 
{ 
Vector head0; 
head0 = head; 
head.X = head0.X + kinectVector.x; 
head.Y = -head0.Y + kinectVector.Y; 
head.2z = headq0.2 + kinectVector.2; 


public void Translation(Vector3 kinectVector) 
{ 

head.X += kinectVector.x; 

head.Y += kinectVector.Y; 

headq.2 += kinectVector.2; 
} 


其 中 ，LeftRotate、RightRotate 和 Upside 函 数 分 别 为 左旋 、 右 旋 和 上 下 倒转 三 种 旋转 
方式 ， 在 旋转 之 后 还 要 加 上 Kinect 和 屏幕 的 相对 位 移 矢 量 kinectVector。Translation 困 数 则 
为 不 加 旋转 的 平移 。 

在 得 到 Head 坐 标 后 ， 调 用 上 述 子 数 进行 坐标 变换 : 


1If (LeftRotateBool) 

LeftRotate (KinectOffset).; 
else if (RightRotateBool) 
RightRotate (KinectOffset).; 
else if (UpsideBool) 

Upside (KinectOffset).; 


else 
Translation (KinectOffset).; 


至 此 ， 我 们 就 完成 了 Kinect 组 件 类 ， 并 得 到 了 头 部 相对 于 屏 禹 的 坐标 。 
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11.4 三维 图 形 引 你 


在 获取 了 头 部 坐标 之 后 , 剩 下 的 就 只 有 三 维 图 形 的 绘制 工作 了 。 这 本 映 是 一 项 比较 复杂 的 工 
程 ， 有 很 多 三 维 图 形 引 擎 和 游戏 引 敬 可 以 用 来 辅助 开发 ， 该 项 目 是 采用 XNA 游 戏 框 染 来 完成 的 。 
由 于 这 并 不 是 本 书 讲述 的 重点 , 因此 这 里 只 通过 实现 XNA 中 一 个 绘制 可 见 模型 类 的 代码 , 来 简单 
讲解 三 维 模型 的 绘制 过 程 ， 为 下 一 市 的 视角 变换 做 铺垫 。 


11.4.1 创建 可 见 模 型 绘制 类 


在 Visual Studio 2010 中 新 建 一 个 C# 类 ,命名 为 “IlIModel.cs”， 用 来 实现 模型 绘制 功能 ， 如 图 
11-4 所 示 。 


[a 一 
添加 新 项 - lllusion.Scene A 本 人 
| sse 排序 依据 : | 默认 值 9 二 搜索 已 安装 的 模板 D 
4 Visual C# | .Vi 共 
ee cH 类 Vicual C# 类 型 : Visual C 
Sh 
Windows Forms - cs 国 
WpF 挡 Visual C 三 
-号 | Windows 窗 体 Visual C# 
一 己 一 INGOWS Isua -一 
代码 - 
Ee 用 户 控 件 Visual C# 
Reporting 
Werlefine 嵌 组 件 类 Visual C# 
XNA Game Studio 4.0 
联机 模板 雷 | 用户 控 件 (WPF) Visual C# 
六 “x 于” 柜 Visual C# 
侈 。 ADO.NET EntityObject 生成 器 Visual C# 
Gs ADO.NET 实体 数据 模型 Visual C# 
@ ADO.NET 自 跟 踪 实 体 生成 器 Visual C# | 
S4 Crystal 报表 Visual C# | 
国 =| Se Ee 
名 称 (N): illModel.cs| 


图 11-4 创建 一 个 可 见 模 型 绘制 类 


11.4.2 ”构建 模型 世界 矩阵 


一 个 3D 模 型 需要 经 过 世界 窍 阵 、 视 岁 矩阵 和 投影 矩阵 的 转换 ， 贞 经 过 裁 筋 等 一 系列 的 处 理 
才能 转换 为 屏 姑 坐标 并 绘制 出 来 。 其 中 视图 算 阵 和 投影 矩阵 和 都 和 观察 点 的 坐标 有 关 ， 而 世界 矩阵 
仅仅 和 模型 本 身 有 天。 因此 ， 模 型 绘制 的 第 一 步 就 是 计算 其 世界 和 矩 阵 。 相 关 代码 如 下 : 


public class IllModel 
{ 


string modelAssetName.; 
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public string ModelAssetName 

{ 
get { return modelAssetName; } 
set { modelAssetName = value; } 


Vector3 position; 

public Vector3 Position 

{ 
get { return position; } 
set { position = value; } 


Vector3 Scale = new Vector3(1.0f, 1.0f, 1.0f).; 


public Vector3 Scale 
{ 


get { return scale; } 
set { scale = value; } 


Vector3 velocity; 
Public Vector3 Velocity 
{ 


get { return velocity; } 
set { velocity = value; } 


Vector3 yawPitchRaw = new Vector3(0,0,0); 


private Game game; 


public Matrix Rotation 


{ 
get 


‘ 


return Matrix.CreateFromYawPitchRoll (yawPitchRaw.x, 


public Matrix World 
{ 


yawPitchRaw.Y, 
yawPitchRaw.2); 


get 
{ 
Matrix mL1L = Matrix.CreateScale (scale); 
Matrix mt2 = Rotation; 
Matrix mt3 = Matrix.CreateTranslation (position).; 


return mt * mt2 * mt3. 


public IllModel (string model, Vector3 position, 


Vector3 yawPitchRaw, 
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float scale, Game 9ame ) 


this.position = position; 
this.yawPitchRaw = yawPitchRaw; 


this.scale = new Vector3(scale, scale, scale): 
this.modelAssetName = model:; 
this.game = game; 


} 

世界 和 矩阵 代表 着 模型 在 三 维 空间 中 的 位 置 参 数 ， 包 括 位 移 、 旋 转 和 放 缩 。 而 上 述 代码 中 的 
DOSLItLon, vawPitchRaw 和 scale 分 别 代 表 了 这 三 个 参数 ， 其 中 参数 vawPitchRaw 表 示 模 型 在 
yaw、pitch、raw 三 个 轴 上 的 旋转 程度 。 

但 是 仅仅 有 参数 是 不 够 的 , 还 需要 将 其 转换 为 矩阵 。 这 里 只 需 调 用 XNA 中 相应 的 接口 来 创建 
和 窍 阵 ， 最 后 再 通过 年 阵 乘法 合并 成 模型 的 世界 窍 阵 : 


public Matrix Worild 
{ 


get 
{ 
Matrix mL1L = Matrix.CreateScale (scale); 
Matrix mt2 = Rotation; 
Matrix mt3 = Matrix.CreateTranslation (position).; 


return mt * mt2 * mt3; 


) 
这 样 就 得 到 了 该 模型 的 世界 矩阵 worla， 下 一 步 就 是 进行 绘制 工作 了 。 


11.4.3 ”绘制 模型 


上 面 提 到 了 模型 绘制 需要 三 个 矩阵 , 我 们 已 经 得 到 了 世界 窍 阵 ,， 因 此 需要 将 视图 宇 阵 和 投影 
年 阵 作为 参数 传人 绘制 函数 。 代 码 如 下 : 


public vold Draw (GameTime gameTime, Matrix view, Matrix projection) 


{ 


Model model = game.Content .Load<Model> (modelAssetName); 
Matrix[] transforms = new Matrix[model.Bones.Count]; 


model .CopyAbsoluteBoneTransformsTo(transforms),;} 
game .GraphicsDevice.BlendState = BlendState.AlphaBlengd; 
game .GraphicsDevice.DepthStencilState = DepthStencilState.Default; 


foreach (ModelMesh mesh in model.Meshes) 
{ 
foreach (BasicEffect effect in mesh.Effects) 


L 


effect.EnableDefaultLighting(); 

effect.World = transforms [mesh.ParentBone.Index|] * World; 
effect.View = Vview; 

effect.Projection = projection; 
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} 
mesh.Draw(); 
} 
} 


在 分 析 这 段 代 码 之 前 , 我们 先 来 了 解 模 型 数据 的 组 织 方 式 : XNA 用 Model 保 存 模型 数据 ， 其 
中 包含 一 些 “ 小 ”物体 ， 称 之 为 网 格 ，ModelMesh 类 表示 这 些 网 格 数 据 。 同 样 地 ， 网 格 也 由 好 几 
部 分 构成 ， 每 个 部 分 都 有 其 颜色 、 纹 理 和 光照 等 绘制 参数 ， 其 中 参数 相同 的 部 分 称 之 为 效果 , 在 
XNA 中 用 Effect 类 记录 。 在 XNA 框 架 下 ， 如 果 对 每 一 个 Effect 都 设置 了 相应 参数 和 三 矩阵， 
绘制 模块 就 可 以 目 动 完成 模型 的 绘制 工作 。 

上 述 代 码 是 一 段 经 典 的 XNA 模 型 绘制 代码 ， 首 先 载 入 模型 数据 并 调整 绘图 设备 的 相应 参数 。 
接着 foreach 循 环 志 有 历 模 型 的 每 个 网 格 及 其 中 的 每 一 个 Bffect 对 象 ， 应 用 光照 的 默认 人 参数， 议 
置 被 绘制 对 和 象 的 世界 、 视 图 和 投影 矩阵 。 最 后 调用 网 格 绘制 函数 就 可 以 日 动 绘制 出 整个 模型 了 。 

到 目前 为 止 ,我 们 已 经 完成 了 三 维 模型 的 绘制 工作 。 再 加 上 第 一 步 获 取 的 头 部 坐标 ， 下 面 只 
要 将 这 两 者 结合 在 一 起 就 可 以 了 。 


11.5 “根据 头 部 位 置 更 新 绘制 图 像 


在 分 析 如 何 利 用 头 部 坐标 更 新 绘制 图 像 之 前 , 我 们 先 来 了 解 一 下 三 维 图 像 的 绘制 原理 ,如 图 
11-$ 所 示 。 


图 11-$ 三 维 图 像 绘制 原理 
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如 前 文 所 述 ， 三 维 绘制 的 三 个 核心 矩阵 为 世界 和 矩 了 泗 、 视 图 矩阵 和 投影 和 矩阵。 其中， 世界 和 矩 阵 
由 图 中 三 维 物 体 的 位 置 、 大 小 、 旋 转 等 参数 构成 ， 可 以 将 其 理解 为 “决定 物体 在 哪里 ”的 数据 ; 
视图 矩阵 由 观察 点 的 位 置 和 袁 癌 构 成 , 也 就 是 “在 哪里 、 回 哪里 看 ”的 参数 ; 最 后 视 锥 体 的 大 小 、 
远近 裁剪 面 的 数据 则 表示 了“ 屏 大 有 多 大 ， 参 向 哪里 ”。 所 以 ,知道 了 “物体 在 哪里 ”以 及 “ 癌 
哪里 看 ”， 又 知道 了 “ 屏 虱 有 多 大 ， 萌 加 哪里 ”， 就 能 在 屏 才 上 得 到 绘制 图 像 了 。 

由 此 可 见 , 想 要 根据 头 部 位 置 来 更 改 显示 的 图 像 ， 首 和 完 要 修改 视图 和 矩阵; 此 外 ,， 由 于 屏 才 的 
阴 问 参数 是 相对 于 观察 点 位 置 的 ,观察 点 改变 了 , 投影 矩阵 也 要 随 之 改变 。 本 闻 的 代码 是 建立 在 
项 目的 主干 流程 中 的 ， 我 们 将 重点 讨论 如 何 实 现 这 两 个 矩阵 的 数据 更 新 。 


11.5.1 修改 视图 答 阵 
首先 更 新 视图 矩阵 的 数据 ， 其 代码 如 下 ， 


KinectComponent kinect,; 

public static pool kinectbool = true; 
Vector3 pos = new Vector3(0, 0, 0.4f).; 
Vector3 target,; 

Vector3 up; 

Matrix view, projection; 


protected override void Draw (GameTime gameTime) 


{ 
if (kinectlbool && kinect != null) 


{ 
pos = kinect.Headposition; 
target = pos + new Vector3(0, 0, -3f); 


} 


View = Matrix.CreateLookAt (pos, target, up); 


} 

其 中 pos 、target 和 up 分 别 表示 观察 者 的 位 置 、 视 线 日 标 和 正方 向 ，vView 表 示 视 图 和 矩阵 ， 
projection 表 示 投 影 怎 阵 。 当 Kinect 捕 捉 到 头 部 位 置 时 ， 应 该 更 新 观察 者 的 位 置 ， 但 是 视线 的 
方 回 并 不 会 发 和 后 改变 。 因 为 视线 方向 用 于 确定 屏幕 平面 , 投影 矩阵 用 于 确定 视 锥 体 ， 所 以 视线 方 


向 向 量 应 该 永远 垂直 于 屏幕 所 在 的 平面 ， 而 不 是 随 着 观察 者 位 置 发 生 改 变 。 如 图 11-6 所 示 。 
三 维 物体 


头 部 位 置 改变 
视线 方向 


图 11-6， 头 部 位 置 改变 而 视线 方向 不 变 
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此 ， 视 线 目 标 只 需要 根据 观察 者 的 位 置 进行 平移 即 可 : 
target = pos + new Vector3(0, 0, -3f); 


最 后 ， 调 用 XNA 中 的 createLookAt 方 法 计算 出 视图 矩阵 vievw。 


11.5.2 ”修改 投影 矩阵 


与 视图 矩阵 相 比 , 投影 矩阵 的 更 新 要 复杂 一 些 。 这 是 因为 常用 的 投影 矩阵 都 是 基于 正视 锥 体 
的 ， 即 视线 方 同 通过 视 锥 体 的 中 心 线 。 而 我 们 要 使 用 的 可 能 是 和 斜 投影 窍 阵 ， 由 于 很 多 图 像 引 敬 都 
不 提供 和 斜 投影 矩阵 的 构造 方法 ， 这 里 将 介绍 一 种 将 正 投影 矩阵 转化 为 斜 投影 怎 阵 的 方法 。 

1. 将 正 投影 矩阵 转化 为 糙 投 影 矩 阵 

世界 和 矩 阵 、 视 图 矩阵 和 投影 矩阵 决定 了 一 个 模型 在 屏 硕 上 绘制 出 的 图 像 ， 而 这 三 个 矩 阵 的 计 
算是 有 顺序 的 。 首 先 通过 世界 矩阵 将 模型 变换 到 统一 的 世界 坐标 系 中 , 再 通过 视图 窍 阵 将 其 转换 


到 视点 空间 中 ， 最 后 通过 投影 矩阵 将 前 面 得 到 的 顶点 坐标 转化 为 一 个 正方 体内 的 坐标 。 
如 图 11-7 所 示 ， 经 过 视图 矩阵 的 转化 ,空间 的 顶点 坐标 被 转换 为 观察 者 坐标 系 的 坐标 ， 黑 色 


实 线 代 表 当 前 阶段 的 坐标 轴 ， 图 中 的 实心 点 代表 视野 空间 。 通 过 正 投 影 矩 阵 的 变换 ， 视 锥 体 中 的 
梯 台 区 域 被 转化 为 正 立 方 体 ， 顶 点 (7b, n) 和 (x 四 分 别 被 转化 为 (0 2 nn 和 (rm')。 


计算 投影 矩阵 前 计算 投影 矩阵 后 


图 11-7 ”投影 矩阵 功能 


实现 笠 投 影 矩 阵 最 简便 的 方法 是 , 在 投影 矩阵 之 前 加 入 一 个 新 矩阵 ,并 将 视 锥 体内 的 顶点 都 
转换 到 正视 锥 体 中 ， 这样 不 会 影响 后 面 的 运算 。 通 过 这 种 矩阵 变换 ， 对 每 个 与 屏幕 平行 的 平面 上 
的 所 有 点 进行 平移 , 将 以 观察 方 回 为 中 心 的 点 平移 到 以 视线 方 问 为 中 心 就 可 以 解决 问题 卫 ， 如 图 
11-8 所 示 。 
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图 11-8 新 加 一 个 矩阵 实现 斜 投影 矩阵 
通过 这 个 中 间 和 矩阵 将 绿色 点 P 转 换 为 P'， 实现 斜 投影 窍 阵 癌 正 投影 矩阵 的 转换 。 令 观察 方 癌 


的 单位 问 量 为 Direction， 视 线 方 回 的 单位 癌 量 为 Lookat、 观 察 方 癌 与 视线 方 呵 的 夹 角 为 a。 不 难 
得 出 ， 每 个 对 应 点 的 坐标 应 该 有 如 下 的 对 应 关系 : 


/ = yA 。 。 
Pos = Pos 十 CPosz )x Lookat 一 C0 x Direction 


cosa 
所 以 中 间 和 矩阵 应 符合 如 下 关系 .: 


X+2zZxX x direction.X 
X cosa 
M | Y+zx xdirection.Y 
z cosa 
i Zz 
w 


因此 在 视图 矩阵 和 正 投影 算 阵 之 间 再 乘 上 一 个 如 下 的 矩阵 , 就 可 以 得 到 符合 要 求 的 斜 投影 矩 


阵 了 : 

1 direction.X 
cosa 

0 direction.Y 
cosa 

0 0 1 0 

0 0 0 1 

代码 实现 如 下 : 


public static Matrix CreateIlluMatrix(Vector3 direction,) 
{ 
Matrix m = Matrix.I1Identity; 
float cosa = Vector3.Dot (Vector3.Forward, direction);} 
if (cosa!=0) 
{ 
m.M31 
m.M32 


direction.X / cosa; 
direction.Y / cosa; 


一 
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return m; 


} 


llluMatrix = CreateIlluMatrix(Vector3.Normalize (Vector3.Zero - pos)); 
float a = 0.01f / pos.2; 
projection = illuMatrix * Matrix.CreatePerspective(ScreenWidth * ai 


ScreenWidth / AspectRatio * ai， 
0.01f, 7000f); 


其 中 ，createI11uMatrix 困 数 为 计算 中 间 和 矩阵 1 的 晒 数 ， 最 后 将 中 间 和 窍 阵 和 正 投影 矩阵 相 乘 
得 到 所 需 的 斜 投影 矩阵 projection。 

2. 利用 XNA 提 供 的 函数 生成 斜 投 影 矩 阵 

由 于 很 多 图 像 引 擎 只 提供 了 正 投影 矩阵 的 生成 接口 , 因此 上 面 介绍 的 斜 投影 矩阵 生成 方法 适 
用 于 所 有 的 图 像 引 苟 。 但 是 在 XNA 框 染 下 , 其 本 刁 提 供 了 一 个 生成 斜 投影 矩阵 的 方法 , 传人 相应 
的 参数 就 可 以 得 到 冬 投 影 和 矩阵 : 


F 


public static Matrix CreatePerspectiveOffCenter ( 
float left, 


float right, 

float bottom, 

float top, 

float nearPplaneDistance, 
f 


oat farPplaneDistance 


) 
其 中 ，left、right、bottom、 top 分 别 表示 视 锥 体 在 近 截 平面 上 的 左 、 右 、 上 、 下 边界 值 ， 
nearPlaneDistance 和 farPlaneDistance 表 示 近 、 远 稚 平面 的 距离 。 由 此 ， 我 们 可 以 利用 现 
有 的 数据 来 计算 笠 投 影 矩 阵 ， 代 但 如 下 : 


public static Matrix CreateXNAProjection(Vector3 direction, 
float screendepth, 


float screenwidth, 
float aspectRatio, 
float nearplaneDistance, 
float farPplaneDistance) 
{ 

float cosa = Vector3 .Dot (Vector3.Forward, direction); 

Vector3 screenCenter = direction * screendepth / cosa; 

float a = nearPlaneDistance / screendepth.; 

float left = (screenCenter.X - screenwidth / 2) * a; 

float right = (screenCenter.X + screenwidth / 2) * a; 

float screenHeight = screenwidth / aspectRatio; 

float top = (screenCenter.Y + screenHeight / 2) * a; 

float bottom = (screenCenter.Y - screenHeight / 2) * a; 


return Matrix.CreatePerspectiveOffCenter(left, right, bottom, top, 
nearPlaneDistance, 


farPlaneDistance).; 


} 


projection = CreateXNAProjection(Vector3.Normalize (Vector3.Zero - pos), 
PoSs .2Z， 
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ScreenWidth, 
AspectRatio, 
0:01F., 
7000f£); 


这 里 的 createXNAProjection 困 数 就 是 封 冯 好 的 和 斜 投 影 和 矩阵 计算 晒 数 。 其 中 ， 
screenCenter 计 算 的 是 屏幕 的 中 心 坐标 ， screenwidth 和 screenheight 表 示 屏 荣 的 客 和 高 。 
最 终 将 计算 出 的 left、right、top、bottom 传 人 CreatePerspective0OffCenter 扫 数 即 可 。 

至 此 , 我 们 残 完 成 了 全 县 显示 项 目的 全 部 核心 代码 ,包括 捕捉 头 部 位 置 、 绘 制 三 维 模型 以 及 
改变 矩阵 调整 显示 图 像 。 最 终 ， 程 序 的 效果 如 图 11-9 所 示 。 


观察 者 在 屏幕 右 侧 看 到 的 画面 观察 者 在 屏幕 下 方 看 到 的 画面 


图 11-9 ”最终 运行 结 


11.6 ”小结 


通过 以 上 的 项 目 实 例 ， 我 们 了 解 了 一 个 完整 的 Kinect 三 维 应 用 是 如 何 一 步 步 开 发 出 来 的 。 这 
个 项 日 的 优点 并 不 仅 限 于 其 独特 的 全 息 显示 方式 ， 将 之 应 用 到 文物 保护 也 是 值得 读者 借鉴 的 。 

此 外 ， 它 的 应 用 前 景 也 很 好 ， 因 为 只 要 是 有 三 维 显示 的 地 方 ， 都 可 以 用 到 Kinect 全 息 显 示 。 
例如 , 在 该 方案 的 文 持 下 ,， 游戏、 动画 或 电影 可 以 更 加 真实 ， 而 不 只 是 在 一 块 平 面 上 的 投影 ，3D 
游戏 可 以 具备 更 强 的 代入 感 ; 一 块 配 有 Kinect 和 屏幕 的 小 型 广告 牌 采用 该 方案 后 ， 无 论 大 家 是 步 
行 还 是 驾车 ,是 等 人 还 是 散步 ,广告 都 会 随时 移动 , 有 刁 临 其 境 的 画面 感 ， 增 加 趣味 性 的 同时 也 
极 大 地 提高 了 广告 感染 力 ， 从 而 带 来 经 济 效 益 ; 机 械 设 计 师 可 以 轻松 地 通过 移动 头 部 观察 其 正在 
设计 的 物件 的 样 貌 ,解决 蚂 杂 的 移动 勘测 问题 ， 从 而 幅 提 高 工作 效率 ……… 

同时 ， 该 方案 还 可 以 和 传统 的 3D 显 示 技 术 结 合 ， 征 接 追 踪 观 察 者 左 眼 和 右 眼 相对 屏 大 的 位 
置 , 并 计算 出 左 眼 和 右 眼 不 同 的 投影 , 从 而 提供 更 通 上 的 表现 力 。 此 外 , 该 方案 也 可 与 基于 Kinect 
的 远 距 离 多 点 触 控 技术 相 结 合 , 使 计算 机 软件 用 户 界 面 不 再 集中 在 一 个 平面 上 ， 而 是 转变 为 不 同 
朝 癌 、 多 层次 的 三 维 用 户 界面 。 


基于 Kinect 的 自主 移动 
机 器 人 的 设计 与 实现 


前 面 儿 章 介 绍 的 Kinect 实 战 项 目 都 有 一 个 共性 : 以 Kinect 设 备 作 为 人 机 交互 的 工具 ， 识 别 使 
用 者 的 动作 并 做 出 不 同 的 啊 应 ， 如 果 给 这 种 输入 方式 加 上 一 个 方 回 的 话 ,应 该 属于 加 内 输入 。 我 
们 不 妨 做 一 些 改 变 ， 把 输入 方 同 反 过 来 ， 即 让 Kinect 去 观测 外 界 的 环境 并 做 出 反馈 ,就 像 人 的 眼 
睛 一 样 。 由 此 ， 可 以 将 Kinect 作 为 机 顺 人 的 视觉 传 感 锅 ， 这 是 完全 不 同 于 之 前 项 目的 一 种 全 新 的 
Kinect 应 用 方式 。 本 章 就 来 介绍 一 个 以 这 种 方式 实现 的 人 研发 项 目 Kinect 有 自主 移动 机 器 人 
(KRobot )， 如 图 12-1 所 示 。 


Kifiect 


图 12-1 KRobot 机 器 人 


该 项 目 人 围 了 微软 亚洲 研究 院 举 办 的 “2012 微 软 精英 大 挑战 ”决赛 , 并 最 终 获 得 第 一 名 的 优 
异 成 绩 。 它 不 仅 将 Kinect 创 新 性 地 应 用 到 了 机 各 人 和 领域， 而 且 还 利用 Kinect 的 数据 实现 了 极 佳 的 
效果 ， 这 是 非常 值得 读者 学 习 和 借鉴 的 。 
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12.1 KRobot 项 目 简介 


通 各 ,传统 机 器 人 的 避 障 功能 会 利用 机 需 视 觉 技 术 来 识别 机 器 人 附近 的 障碍 物 ,并 做 出 啊 应 。 
其 中 ， 充 当 机 需 人 “眼睛 ”的 部 分 ， 一 般 是 RGB 摄像 头 、 红 外 线 摄像 头 或 激光 收发 需 等 传 感 需 。 
但 是 这 些 传 感 带 都 有 其 局 限 性 : RGB 摄像 头 虽 然 可 以 获得 全 视野 的 图 像 信 息 , 但 其 识别 算法 基于 
彩色 位 图 的 图 像 识 别 位 图 ， 受 光线 的 影响 较 大 ,实际 应 用 性 较 差 ; 红外 线 摄像 凑 和 激光 收发 硕 虽 
然 可 以 获取 可 靠 的 数据 ， 但 是 只 能 获得 某 一 方向 上 的 障碍 信息 。 而 Kinect 传 感 锅 不 仅 具 备 传 统 
RGB 摄像 头 的 功能 ,还 拥有 稳定 且 视 野 宽 广 的 次 度 摄像 机 ， 以 及 大 角度 的 麦 元 风 阵 列 。 这 不 仅 办 
六 了 现 有 传 感 带 的 功能 ， 还 提高 了 数据 的 密度 和 可 靠 性 。 因 此 ，KRobot 项 目 以 Kinect 取 代 现 有 的 
传 感 希 ， 来 完成 机 需 视 党 识别 ， 并 获取 障 但 物 的 信息 ， 进 而 控制 机 硕 人 完成 完整 的 避 障 动作 。 

不 仅 如 此 , KRobot 还 可 以 完成 一 些 更 加 系统 且 实 用 的 任务 。 比 如 , 对 视野 内 的 目标 人 物 进 行 
持续 妃 踪 , 保持 一 定 距离 并 跟随 ; 根据 语音 命令 的 发 出 方 回 进行 转 问 。 该 项 目 已 经 实现 了 这 两 种 
动作 ， 即 人 体 跟 踪 和 声 源 定位 。 

同时 ， 该 项 目 还 借助 Kinect 强 大 的 人 机 交互 功能 ， 实 现 了 人 与 机 需 的 自然 交互 。 使 用 者 可 以 
通过 百 观 的 动作 来 完成 机 需 人 的 操控 任务 。 


12.2 ”技术 实现 概述 


本 项 目的 技术 以 构 分 为 三 大 部 分 ,分 别 是 视 沉 平台、 主 控 系 统 以 及 撒 层 行走 机 构 。 视 党 平 合 
不 仅 需要 采集 Kinect 的 信息 ， 还 需要 根据 已 知 信息 分 析 外 界 当前 环境 ， 并 做 出 下 一 步行 动 决策 。 
这 相当 于 人 的 大 脑 ， 而 Kinect 吕 相当 于 人 的 眼睛 与 耳 东 。 主 控 系 统 负责 接收 视 沉 平台 的 指令 ， 采 
集 其 他 传 感 带 的 信息 并 且 控 制 电机 做 出 相应 动作 。 这 相当 于 人 的 神经 中 枢 , 控制 身体 各 部 位 执行 
大 脑 的 指令 ， 有 承 上 局 下 的 作用 。 而 奔 层 的 行走 机 构 包 含 了 和 耻 流 电机 、 电 池 以 及 金属 车 染 ， 相 当 
于 人 的 骨骼 与 肌肉 。 只 有 这 三 部 分 紧密 协作 ， 机 名 人 才能 正 肖 运转。 


图 12-2 ”KRobot 的 三 层 技术 实现 
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项 目 中 的 Kinect 部 分 ， 需 要 完成 四 个 功能 : 障碍 规避 、 人 体 跟 踪 、 声 源 定 位 和 上 自然 交互 。 
口 障碍 规避 需要 和 完 完 成 摄像 机 标定 ， 再 依 徘 深度 摄像 涉 获 取 的 原始 数据 流 完 成 图 像 识别 ， 
最 终 得 到 障碍 的 信息 ; 

口 人 体 跟 踪 通 过 Kinect SDK 提 供 的 骨骼 跟踪 功能 完成 ; 

口 声 源 定 位 通过 Kinect 的 麦克 风 阵 列 数据 获取 声 源 方 向 ; 

口 自然 交互 和 其 他 Kinect 应 用 的 交互 方式 类 似 ， 通过 识别 人 体 动作 来 实现 交互 功能 。 

在 后 面 儿 和 中 ， 我 们 将 分 析 视 党 平台 和 主 控 平 台中 与 Kinect 相 关 的 每 一 项 技术 实现 ， 这 些 代 
但 使 用 的 编程 语言 是 C++。 读 者 在 阅读 本 章 的 代码 之 前 ， 需 要 先 学 习 Kinect SDK 文 档 中 关于 C++ 
语言 的 内 容 。 本 项 目 采 用 的 是 1.0 版 本 的 Kinect for Windows SDK， 针 对 后 续 SDK 的 版 本 升级 ， 请 
参考 相关 文档 和 程序 。 

由 于 该 项 目的 底层 机 构 过 于 复杂 ， 而 且 和 本 书 的 主题 相距 较 远 ， 这 里 不 做 介绍 ， 感 兴趣 的 该 
者 可 以 参阅 相关 书籍 。 


12.3 ”利用 深度 数据 进行 摄像 机 标定 
在 进行 摄像 机 标定 之 前 ， 先 来 思考 这 样 一 个 问题 : 我 们 定义 了 如 图 12-3 所 示 的 坐标 系 ， 假设 


Kinect 放 置 在 x 轴 上 ， 其 中 心 位 置 对 应 于 坐标 原点 ， 通 过 前 面 的 章节 可 知 ，Kinect 可 以 得 到 次 度 岁 
上 某 一 点 在 Z 方 同 的 深度 距离 ， 那 么 我 们 可 以 得 到 这 个 点 在 三 维 空间 中 x 轴 和 y 轴 的 坐标 吗 ? 


摄像 机 
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图 12-3 ”摄像 机 空间 示意 图 


从 万 一 个 角度 来 看 , 我 们 需要 知道 采集 到 的 深度 图 像 的 像 系 点 与 真实 世界 物理 坐标 系 之 间 的 
联系 ， 并 得 到 一 种 二 维 到 三 维 的 映射 关系 。 想 要 得 到 这 种 映射 天 系 ， 就 需要 进行 摄像 机 标定 。 侧 
单 地 说 , 这 就 是 对 近似 描述 整个 摄像 头 成 像 过 程 的 数学 模型 的 各 个 参数 进行 计算 的 过 程 。 通 过 摄 
像 机 标定 ,只 要 给 定 实际 空间 中 茶 一 点 的 三 维 坐标 , 我 们 就 可 以 通过 计算 得 到 该 点 在 摄像 头 成 像 
平面 上 对 应 的 二 维 坐标 。 

之 前 我 们 已 经 提 到 ,SDK 包 含 了 相应 的 转换 函数 ,但 在 这 里 我 们 并 不 使 用 它 ,， 而 是 利用 成 像 
原理 完成 标定 的 计算 过 程 。 这 有 助 于 读者 深入 理解 Kinect 深 度 摄 像 尖 的 成 像 原 理 。 
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摄像 机 标定 过 程 比较 复杂 ,首先 需要 确定 成 像 模型 。 在 实际 项 目的 制作 当中 ,我 们 发 现 光 学 
中 理想 的 针 孔 模型 与 深度 摄像 头 的 成 像 模 型 极为 相似 。 在 精度 要 求 不 高 的 情况 下 , 可 以 很 容易 地 
计算 出 X 和 Y 方 向 上 的 距离 ， 具 体 思 路 如 下 。 
X 和 Y 方 向上 的 距离 是 控制 机 需 人 运动 的 ， 这 是 一 个 相对 距离 ， 在 二 维 的 次 度 图 像 中 ， 可 以 
通过 像素 点 (u,v) 偏 离 图 像 中 心 位 置 (wo, vo) 的 坐标 利用 针 孔 成 像 模 型 计算 得 到 。 
d. _ depth(u,v) 


lu—u,| J 
d, _ depth(u,v) (12-1) 
vow 六 


上 去 中 ，(d. , qd, ) 表 示 像 素 点 (u,v ) 相 对 中 心 位 置 (wo , vo ) 在 XX 和 Y 方 同上 的 偏 移 距离 ，depth(u, v) 
表示 该 点 对 应 的 深度 距离 ，f 和 广 为 摄像 机 的 内 部 参数 ， 表 示 X 和 Y 方 向 的 焦距 ， 可 假设 为 一 个 
定 值 。 

而 通过 像素 点 (u,v ) 和 深度 摄像 涉 的 内 部 参数 ， 可 以 将 机 右 人 运动 距离 的 计算 简化 为 : 


a | depth(u,v) 
了 
人 (12-2 ) 


z = depth(u,v) 
SDK 提供 了 一 个 名 为 NUI_CAMERA_DEPTH NOMINAL INVERSE FOCAL LENGTH IN PIXELS 
的 安 ， 代 表 的 是 次 度 摄像 焦距 值 的 倒数 ， 单 位 是 像 系 值 。 将 该 安 代 入 上 式 进 行 计 算 ， 相 关 代 但 
如 下 : 


#define Inv_ faq NUI_ CAMERA DEPTH NOMINAL INVERSE FOCAL LENGTH IN_ PIXELS 
float edge_ left = (float)fabs(depth*(160-left edge point.x)*Inv_ fdq) ，; 


将 深度 摄像 头 采集 的 图 像 尺 寸 设 置 为 320x240， 图 像 中 心 位 置 即 为 (160, 120)。 由 此 ， 利 用 深 
度 图 像 就 可 以 得 到 控制 机 器 人 运动 所 需 的 三 维 距 离 信息 了 。 


12.4 利用 深度 数据 实现 障碍 规避 


避 障 的 前 提 是 识别 前 方 的 障碍 物 ， 构 成 障碍 物 的 条 件 只 与 机 希 人 的 大 小 以 及 物体 的 位 置 有 
关 ,， 不 需 考虑 物体 的 形状 和 颜色 , 所 有 阻碍 机 天 人 前 进 路 线 的 物体 都 可 以 被 视 为 障碍 物 。 因 此 利 
用 深度 数据 流 可 以 很 蚀 单 地 进行 处 理 , 而 利用 传统 的 彩色 摄像 头 , 则 需要 预先 了 解 障 得 物 的 信息 
才能 达到 很 好 的 识别 效果 。 上 一 广 已 经 介绍 了 利用 深 度 图 像 数 据 获 取 机 瘟 人 所 需 运 动 数 据 的 方 
法 。 如 来 得 到 了 某 个 像 系 的 二 维 坐 标 , 我 们 就 可 以 控制 机 需 人 运动 到 该 像 系 坐标 所 对 应 的 物理 位 
置 ; 而 如 果 得 到 的 是 障碍 物 的 边缘 像 系 坐标 ,那么 就 必须 让 机 华人 避 开 这 个 障碍 物 。 实 际 上 , 机 
需 人 只 运动 在 X-Z 平 面 ， 因 此 我 们 只 需要 关注 式 (12-2) 中 的 人 和 z 即 可 。 本 市 将 详细 讲解 如 何 利用 
这 度 数据 实现 避 障 功能 。 座 度 摄 像 机 的 深度 值 示意 图 如 网 12-4 所 示 。 
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摄像 机 
一 一 深度 值 Se 


图 12-4，” 猴 度 摄 像 机 次 度 值 示 意图 


如 前 文 所 述 ，Kinect 得 到 的 深度 数据 是 一 个 深度 距离 的 二 维 数 组 ， 单 位 是 毫米 。 系 统 可 以 利 
用 深度 数组 构造 出 一 个 灰 度 图 像 ， 在 得 到 坐标 值 后 ,返回 深度 数组 查找 需要 的 深度 信息 ,并 进行 
偏 移 距 离 的 计算 。 该 处 理 过 程 具体 如 下 。 

首先 获取 深度 数据 流 , 由 于 Kinect 次 度 传感器 的 探测 范围 约 为 0.8 ~ 3.5 米 , 因此 可 设置 闪 值 (3 
米 ) 去 除 过 远 的 距离 。 然 后 复制 实际 的 深 度数 据 缓 冲 区 和 转化 后 的 深度 图 像 数 据 缓冲 区 ( 255 归 
一 化 ), 为 了 去 除 地 面 的 影响 (假设 空旷 无 障碍 物 和 有 障碍 物 的 深度 图 地 面 是 一 样 的 ), 这 里 将 无 
障 得 物 的 情况 作为 参考 帧 对 后 续 帧 进行 帧 差 法 。 接 下 来 , 对 图 像 进行 膨胀 腐蚀 以 尽量 去 除 噪声 的 
影响 。 然 后 对 得 到 的 图 像 进行 连通 体 识 别 和 轮廓 面积 计算 ， 得 到 符合 一 定 规则 的 连通 体 〈 比如 程 
序 中 的 设 定 面积 大 于 1000 )， 再 对 得 到 的 连通 体 进行 障 但 物 判 新 ， 并 得 到 最 终 认 可 的 障碍 物 。 接 
着 利用 障碍 物 的 坐标 计算 障碍 物 与 机 如 人 之 间 的 距离 , 并 根据 一 定 的 几何 关系 计算 机 器 人 避 障 所 
需 的 偏转 角度 以 及 运动 参数 。 

考虑 到 开发 的 需要 ， 我 们 应 在 SDK 的 基础 上 借助 第 三 方 开 源 视觉 库 OpenCV， 完 成 Kinect 机 
器 人 视觉 平台 的 开发 工作 。 它 实现 了 图 像 处 理 和 计算 机 视 党 方面 的 很 多 通用 算法 , 非常 实用 。 如 
采 读 者 此 前 并 未 接触 过 这 个 库 ， 可 以 参考 OpenCV 中 文 网 (http:/www.opencv.org.cn ) 进行 学 习 。 


12.4.1 获取 彩色 图 和 深度 图 数据 


参考 SDK 中 提供 的 C++ 实例 程序 ， 可 以 完成 Kinect 彩 色 图 和 深度 图 的 获取 ， 上 有 具体 代码 如 下 : 


// 设 置 参数 为 深度 数据 ( 含 player index) 、 彩 色 数 据 、 骨 架 数 据 以 及 声音 数据 
DWORD nuiFlags = NUI_INITIALIZE FLAG USES_ DEPTH AND_ PLAYER INDEX | 
NUI_INITIALIZE FLAG USES_ COLOR | 

NUI_INITIALIZE FLAG USES _ SKELETON | 
NUI_INITIALIZE_ FLAG USES AUDIO; 
hr = m pNuiSensor->NuilInitialize (nuiFlags); 
if (E_NUI_SKELETAL ENGINE_ BUSY == hr) 


| 


nuiFlags = NUI_INITIALIZE _ FLAG USES_DEPTH | 


NUI_INITIALIZE FLAG USES_COLOR | 


NUI_INITIALIZE FLAG USES_ AUDIO; 
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hr = m pNuiSensor->NuiInitialize (nuiFlags) ;， 


if (hr != S_OK) 

{ 
cout << "NuiInitialize failed" << endl; 
return hr; 


/ /明和 架 事件 
m hNextSkeletonEvent = CreateFvent (NULL, TRUE, FALSE, NULL).，; 
if (HasSkeletalEngine (m pNuiSensor)) 


{ 


hr = m pNuiSensor->NuiSkeletonTrackingEnable(m hNextSkeletonEvent, 0); 
if (FAILED (hr)) 
{ 

COUL << "Could not skeleton" << endl; 

return hr; 


// 彩 色 图 事件 ， 彩 色 图 尺寸 为 640*x480 
m hNextVideoFrameFvent = CreateEvent (NULL, TRUE, FALSE, NULL); 
m pVideoStreamHandle = NULL.; 
hr = m pNuiSensor->NuiIlImageStreamOpen ( 
NUI_IMAGE ‘TYPE COLOR, 
NUI_IMAGE RESOLUTION 640x480, 


m hNextVideoFrameFEvent, 
&m pVideoStreamHandle).; 
iE (FAILED(hr)) 
{ 
Cout << "Video Frame open failed!\n" << endl; 
return hr; 


/ /深度 图 事件 ， 深 度 图 尺寸 为 320*240 
m hNextDepthFrrameEvent = CreateEvent (NULL, TRUE, FALSE, NULL).; 
m pDepthStreamHandle = NULL.; 
hr = m pNuiSensor->NuilmageStreamOpen ( 
NUI_IMAGE ‘TYPE _ DEPTH AND_ PLAYER INDEX, 
NUI_IMAGE RESOLUTION_320x240, 
0, 
了 
m hNextDepthFrameEvent, 
gm pDepthStreamHandle).; 
if (FAILED (hr)) 
{ 


Cout << "Could not open depth stream video" << endl; 
return hr; 


} 
然后 定义 OpenCV 的 标准 图 像 类 型 Tpl1Image， 存 取 彩 色 图 和 深度 图 ， 相 关 代 码 如 下 : 


VideoFrame = cvCreatelImage (cvSize (COLOR WIDTH, COLOR _ HEIGHT), IPL DEPTH 8U, 4); 


m DepthFrame = cvCreatelImage (cvSize (DEPTH WIDTH, DEPTH _ HEIGHT), IPL DEPTH 8U, 1); 
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12.4.2 “处理 深度 图 和 深度 数据 
根据 前 文 提供 的 思路 ， 将 深度 数据 作为 灰 度 图 进行 处 理 ， 相 应 的 视觉 算法 通过 OpenCV 库 来 


完成 。 
站 和 完 定义 一 个 深度 图 视觉 算法 处 理 消 数 : 


Vold CKRObotVisionDlg::Robo DepthVision(Ipllimage* src, IpllIimage* dst) 
{ 


/ /复制 原始 深度 图 


IplIimage* depth copy = cvCreatelImage (cvSize (src->width, src->height), 
IPL DEPTH 8U, 1); 
IplIimage* depth = cvCreatelmage (cvSize(src->width, src->height), 


IPL DEPTH 8U, 1); 


/ /进行 阅 值 操作 后 的 深度 图 
IplIimage* depth Morphic Binary = cvCreatelmage (cvSize(src->width, src->height), 
IPL DEPTH 8U, 1); 


// 进 行 形态 学 操作 后 的 深度 图 
Iplimage* depth Morphic = cvCreatelImage (cvSize (src->width, src->height), 
IPL DEPTH 8U, 1); 


/ /进行 边界 链 码 提取 后 的 深度 图 
IplIimage* depth Morphic Contour = cvCreatelImage (cvSize(src->width, src->height), 
IPL DEPTH 8U， 工 ) ; 


//OpenCV 中 进行 边界 提取 定义 的 变量 
CvMemStorage* stor; 
CvSegq* cont_ first; 


// 连 通体 面积 
long S max = 0; 


} 

在 这 段 代 人 码 里 ， cvCreateImage 是 OpenCV 中 创建 图 像 数 据 头 部 并 分 配 数 据 的 也 数 ， 印 
Tbl1Image 对 象 初始 化 ， 其 中 要 用 到 的 数据 如 下 。 

D depth_copy: 复制 原始 深度 图 。 

口 dqeptn: 原始 深度 图 。 

D depth_Morphic_Binary: 进行 国 值 操作 后 的 次 度 图 。 

口 depth_Morphic: 进行 oT a 作 后 的 深度 图 。 

口 depth_Morphic_Contour: 进行 边界 链 公 提取 后 的 深度 图 。 

接 下 来 完成 具体 的 处 理工 作 ， 具 os 


// 将 深度 帧 与 参考 帧 进行 差 帧 ， 消 除 地 面 的 影响 

Robo_PreDepthIimage (depth copy，dqepth) ; 

/ /单一 阅 值 分 割 

cvIihreshold (depth,depth Morphic Binary, 60, 255, CV_THRESH _TOZERO ) ; 
/ /腐蚀 运算 

cvErode (depth Morphic Binary, depth Morphic Binary, NULL, 1); 

/ /膨胀 运算 

cvDilate(depth Morphic Binary, depth Morphic, NULL, 1); 
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// 进 行 复制 

CvCopy (depth Morphic, depth Morphic Contour); 

/ /提取 图 中 的 边界 ,这 是 OPENCV 中 的 轮廓 提取 涵 数 

CvFindContours (depth Morphic Contour, stor, &cont first, sizeof (CvContour), 
CV_RETR LIST, CV_CHAIN APPROX SIMPLE, cvPoint (0,0)); 

// 该 数组 存放 连通 体 的 顶点 坐标 、 长 和 宽 ， 以 及 旋转 参数 。 

CvBOx2D cont box[10]; 

for (; cont_ first; cont_ first = cont_ first->h next) 


{ 


S max = (long)fabs (cvContourArea(cont first, CV_WHOLE SEO)); 
if (S max > 10 * 100) 
{ 


cont box[num++] = cvMinAreaRect2 (cont first, NULL).; 
} 
} 


首先 对 这 度 图 进行 边 绿 处 理 ， 提 取 图 像 的 边界 。 其 中 使 用 了 大 量 OpenCV 中 的 算法 函数 ， 如 
下 所 示 。 

口 cvThreshold: 单一 国 值 分 割 。 

D cvErode: 腐蚀 运算 。 

口 cvDilate: 膨胀 运算 。 

口 cvCopy: 进行 复制 。 

D cvFindContours: 提取 图 中 的 边界 。 

接 下 来 , 将 其 中 面积 大 于 1000 的 连通 体 存 人 cvBox2D 类 型 数组 中 , 就 可 以 提取 出 前 方 障碍 物 
的 轮廓 和 坐标 位 置 了 。 

最 后 将 其 绘制 出 来 ， 效 末 如 图 12-5 所 示 。 


图 12-5 ”障碍 物 提取 结 
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12.4.3 制定 障碍 物 判 定 规则 


我 们 可 以 通过 深度 图 像 处 理光 数 得 到 机 各 人 前 方 物体 的 轮廓 。 但 是 对 机 带 人 运动 来 说 , 前 方 
物体 并 不 一 定 构 成 阻碍 ,这 与 机 各 人 的 大 小 以 及 高 度 有 关 , 因此 需要 制定 具体 的 障碍 物 判 定 规则 。 
首先 声明 一 个 障碍 物 类 以 便 后 续 人 处理， 相关 代码 如 下 : 


typedef struct 
{ 


int LorRTag; / /障碍 物 相对 于 机 器 人 的 位 置 ，0- 左 边 ，1- 中 间 ，2- 右 边 
bool active; / /障碍 物 状态 

float kRobot_11; // 机 器 人 左 半 边 宽度 

float kRobot_12; // 机 器 人 右 半 边 宽度 

float Obj_width; / /障碍 物 宽度 

float edge dis; // 机 器 人 向 一 个 方向 移动 的 距离 

float other edoe dig: // 机 器 人 向 另 一 个 方向 移动 的 距离 


CvBOoOx2D ObjBox; // 障 三 物 构成 的 二 维 盒子 


// 发 送 给 机 器 人 的 相关 数据 

int TurnLorRs // 机 器 人 偏转 方向 

float Left edoes / /障碍 物 左 边缘 距 机 器 人 中 心 的 距离 
float Right _ edge; / /障碍 物 右 边缘 距 机 器 人 中 心 的 距离 
float edge depth; // 边 缘 点 对 应 的 深度 距离 


} Robo_Object_Array; 


Robo Ob ect aa Tobeo. Obieect [3]s / /三 种 障碍 物 分 布 情况 
这 个 类 不 仪 用 于 记录 障 但 物 参数 , 还 用 于 主 欣 部 分 对 机 需 人 避 障 动作 的 控制 。 然 后 进行 障碍 
物 的 由 选 ， 相 关 代 码 如 下 : 


for (InL i=0; ij<num; 1i++) 


| 


//Robo_Ccheckobj 是 障 碍 物 判 定 函 数 
if (Robo CheckObj (&temp_obj, cont box[1i])) 
{ 


robo_object[temp_obj.LorRTag] = temp_ob] ; 
robo_object[temp_ob]j.LorRTag] .theta = 
Robo_CalRoboTheta(&robo_object[temp_obj.LorRTag]);} 


robo_object[temp_ obj.LorRTag] .active = true; / /标志 位 置 位 
Robo_Obj_Num++; / /障碍 物 数目 加 1 


rvDrawBox (robo_object [temp_ob]j .LorRTagl] .ObjBox, 
depth process, 
CV_RGB(255，255，255)); // 在 图 上 绘 出 障碍 物 


} 

包 历 连通 体 , 根据 障碍 物 判 定 规则 进行 判别 。 首先 将 物体 相对 于 机 和 右 人 的 方位 分 为 左边 、 中 
间 以 及 右边 三 种 情况 ， 然 后 分 别 求 得 物体 的 左 、 右 边缘 距离 以 及 中 间距 离 (这 种 情况 下 取 左 、 碳 
边缘 距离 中 较 小 的 那个 )。 边 绿 距离 指 的 是 边 绿 位 置 相 对 机 上 硕 人 中 心 位 置 在 X 方 向 上 的 相对 距离 ， 
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为 了 减 小 边缘 数据 跳 变 , 求解 时 通常 要 在 一 定 的 边缘 像素 范围 内 进行 统计 平均 。 对 上 述 三 种 情况 
下 的 边缘 距离 进行 判定 ,距离 大 于 机 融 人 的 宽度 表示 不 对 机 器 人 构成 威胁 , 即 该 物体 不 是 障 但 物 ， 
否则 将 该 物体 视 为 障碍 物 ， 并 将 其 赋 给 robo_opbject 数 组 。 

核心 的 障碍 物 判 断 函 数 Robo_check0bj 代 码 如 下 : 


BOOL CKRoOobotVisionD1lg::Robo CheckOb]j (Robo_ Object_Array* robo_ obj, CvBox2D box) 
{ 


BOOL ob]j_status = FALSE; 
/* 找 到 二 维 盒子 的 左 、 右 边缘 并 转换 为 Kinect 视 角 的 三 维 坐 标 ， 代 码 略 */ 


// 左 、 右 两 个 盒子 的 距离 足够 大 时 ， 不 对 机 器 人 构成 威胁 
if (fabs(depth left - depth Right) < 400) 
{ 

/ /考虑 KRobot 的 死 区 

depth_ left = depth left ; 

depth_ Right = depth Right ; 


float edge _ left = (float)fabs(depth left * 
(160 - left_ edge point.x) * Inv_fdqd);} 
float edge right = (float)fabs(depth Right * 


(right edge point.x - 160) * InV_ fdq) ; 


/ /分 别处 理 左 、 中 、 右 三 种 情况 
If (bottom.y > 150) 
{ 


if (left edge point.x < 160 && right_ edge point.x <= 160) 
{ 
If (edge right < 500) 
{ 
robo_obj->LorRTag = 2; 
robo_obj->edge depth = depth Right + KRobot_length; 


robo_obj->0ObjBox = box; 


robo_obj->Left_edge = edge right; 

robo_obj->Right_edge = edge left - 40; 
robo_obj->0b]j_width = robo_obj->Right_edge - robo_obj->Left_edge; 
obj_status = TRUE; 


if (left edge point.x < 160 && right edge point.x > 160) 


robo_obj->LorRTag = 1; 


robo_obj->edge depth = edge left>edge right ? 
depth_ Right+KRobot_length 
depth left+KROoObot_ length; 


robo_obj->0bjBox = box; 


robo_obj->Left_edge = edge right; 
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robo_obj->Right_edge = edge_ left; 


robo_obj->0b]_width = robo_obj->Left_edge + robo_ obj->Right_edge; 
ob]J]_status = TRUE; 


if (left edge point.x >= 160 && right edge point.x > 160) 
If (edge_ left < 500 ) 


robo_obj->LorRTag = 0; 
robo_obj->edge depth = depth left + KRObot_ length; 
robo_obj->0ObjBox = box; 

robo_obj->Left_edge = edge right; 
robo_obj->Right_edge = edge left + 40; 


robo_obj->0b]_width = robo_obj->Left_edge - robo obj->Right_edge; 
ob]_ status = TRUE; 


} 


return ob]_status; 


最 终 的 运行 结果 如 图 12-6 所 示 。 


图 12-6 ”障碍 物 判 定 结果 


从 彩色 图 像 中 可 以 看 到 ， 在 机 器 人 附近 有 4 个 物体 ( 在 深度 图 上 能 够 表示 出 来 ) 在 对 应 的 深 
度 图 中 ， 经 过 障碍 物 判断 规则 之 后 ， 右 边 的 两 个 物体 由 于 离 机 器 人 较 远 而 没有 被 识别 为 障碍 物 ， 
最 左边 的 那个 物体 同样 不 构成 威胁 。 只 有 左边 第 二 个 物体 一 且 子 ,对 机 器 人 的 行进 构成 了 威胁 ， 
于 是 被 识别 为 障碍 物 。 


12.4.4 制定 机 器 人 避 障 规则 


对 物体 深度 网 进行 障碍 物 判 别 之 后 ， 可 以 得 到 障碍 物 数组 ， 该 数组 记录 了 机 需 人 左边 ,中间 
以 及 右边 的 障碍 物 情况 。 制定 避 障 规则 的 目的 是 为 了 让 机 絮 人 在 不 同 的 障碍 物 情况 下 ,执行 相应 
的 运动 策略 。 在 具体 调试 过 程 中 , 仅 考 虑 两 种 障 但 物 的 关系 ， 第 一 种 是 只 有 一 个 障 但 物 ， 第 二 种 
是 存在 两 个 位 置 的 障碍 物 。 由 于 机 器 人 采用 的 是 全 辐 底 盘 ， 运 动 控制 非常 简便 ， 仅 需要 X 方 向 和 
Z 方 癌 的 两 个 距离 即 可 ， 也 就 是 边缘 距离 和 深度 距离 。 这 两 种 情况 的 处 理 策 略 如 下 。 
口 一 个 障碍 物 可 能 存在 三 种 位 置 关 系 ， 系 统 将 根据 此 关系 给 机 硕 人 发 送 相应 的 边缘 距离 。 
比如 ， 当 障碍 物 位 于 左边 时 ， 将 右边 缘 距 离 发 送 给 机 闫 人 。 
口 两 个 障碍 物 存在 着 合并 的 可 能 性 ， 比 如 都 位 于 左边 ， 此 时 机 器 人 会 将 这 两 个 障碍 物 视 为 
一 个 整体 ， 只 需要 关注 两 个 障碍 物 中 更 右边 那个 的 右边 缘 距 离 即 可 。 而 如 果 两 个 障碍 物 
一 个 在 左边 ,一 个 在 右边 ， 就 需要 采用 两 种 策略 来 计算 这 两 个 障碍 物 之 间 的 距离 。 当 该 
距离 大 于 机 希 人 宽度 时 ， 可 以 直接 穿 过 。 而 当 该 距离 小 于 机 需 人 宽度 时 ， 就 需要 分 别 计 
算 避 开 左 边 和 右边 障碍 物 的 偏 移 距离 ， 并 选择 偏 移 距离 最 小 的 避 障 路 线 。 由 于 这 部 分 功 
能 的 代码 涉及 了 大 量 的 底层 控制 逻辑 ， 所 以 就 不 在 这 里 列 出 了 。 最 终 的 实际 避 障 效果 如 
图 12-7 所 示 。 


图 12-7 避 障 操作 实际 效果 
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可 以 看 出 , 在 面 对 如 图 所 示 的 两 个 障碍 物 时 , 机 各 人 准确 地 判断 出 这 两 个 障碍 物 都 位 于 其 左 
边 ， 从 而 选取 了 右 侧 绕 过 的 方法 ， 完 成 了 避 障 任务 。 


12.5 ”利用 骨架 数据 实现 人 体 跟 踊 


Kinect 的 精华 部 分 在 于 其 强大 的 人 机 交互 能 力 , 利用 Kinect 可 以 很 容易 地 提取 出 用 户 的 骨架 ， 
识别 出 用 户 的 姿态 。 本 节 将 介绍 机 吉 人 通过 识别 人 体 骨 架 来 完成 人 体 跟踪 的 任务 。 

通过 Kinect SDK 可 以 得 到 人 体 的 20 个 骨骼 点 以 及 该 用 户 的 坐标 和 深度 距离 。 这 样 通过 前 面 介 
绍 的 距离 计算 方法 ， 就 可 以 计算 出 用 户 与 机 融 人 的 位 置 偏 移 情况 ， 从 而 控制 机 器 人 的 移动 。 

值得 一 提 的 是 ， 目 前 的 Kinect SDK 提 供 了 一 种 用 户 追 踪 模 式 。 在 多 用 户 情 况 下 (目前 最 多 可 
对 6 个 用 户 进 行 骨架 识别 ), Kinect 提 取 的 每 个 骨架 都 有 自己 唯一 的 ID , 把 这 个 ID 写 人 追踪 模式 ( 目 
前 最 多 支持 同时 追踪 两 个 用 户 )， 可 以 将 相应 的 状态 置 位 ， 这 就 使 当前 用 户 不 会 受到 其 他 用 户 的 
干扰 。Kinect 视 角 下 的 跟 踊 情况 如 图 12-8 和 图 12-9 所 示 。 


骨架 械 访 1 
ERREID 2432 

玩家 距 训 ”2067.9 

玩家 仿 称 。 42.0 


| 声音 角度 25.5 


骨架 状态 1 

跟 昧 ID 2432 
玩家 距 遍 ”1928.0 
玩家 信物 34.0 


声 首 角度 25.5 


图 12-9 ”时刻 B 的 跟踪 情况 
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人 体 跟 踩 功 能 的 逻辑 控制 代码 如 下 : 


if (human conmmarnd, human tracking) / /人体 跟 中 模式 启动 
{ 
EnterCriticalSection(&com write criticalsect).; 
if (human command.move_up) // 同 时 机 器 人 启动 
{ 


if ( human command.human skeleton ) // 同 时 发 现 骨 架 
{ 
switch (human command.HumanDirection,) 
{ 
Case 1: 
COMM [0] = TrackingMode Left; // 表 示人 体 跟 踪 模 式 
break; 
Case 2: 
COMM[0] = TrackingMode _ Right; 
break; 
default: 
COMM [0] = TrackingMode _ Left; 
} 
/* 向 机 器 人 传输 入 体 所 在 位 置 ， 代 码 略 */ 
} 
Else // 追 踪 模 式 启 动 之 后 骨架 丢失 , 令 机 器 人 后 退 
{ 
/* 向 传输 停止 指令 ， 代 码 略 */， 
} 
} 
LeaveCriticalSection(&com write criticalsect).; 


} 

这 样 就 保证 了 只 有 在 开启 跟踪 模式 且 上 骨架 存在 的 情况 下 , 机 絮 人 才 会 跟踪 人 体 , 跟踪 方式 为 
直线 移动 。 而 当 骨 和 架 丢 失 时 ， 机 各 人 会 立即 停止 ， 以 防 意外 发 生 。 通 过 Kinect 获 取 人 体 骨 架 稳定 
性 好 、 耗 时 少 ， 基 本 可 以 保证 机 器 人 始终 跟随 用 户 。 对 应 于 图 12-8 和 图 12-9 的 两 个 时 刻 ， 机 各 人 
的 实际 运行 状态 如 图 12-10 和 图 12-11 所 示 。 


‘pe | 


图 12-10 ”时刻 A 的 实际 运行 状态 
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图 12-11 时 刻 B 的 实际 运行 状态 


12.6 ”利用 麦克 风 进 行 声 吾 定 位 


我 们 可 以 利用 Kinect 的 麦克 风 阵 列 实 现 很 多 语音 应 用 ， 比 如 本 项 目 中 非常 实用 的 声音 定位 功 
能 。 用 户 在 离开 机 大 人 的 视野 范围 后 ， 可 以 通过 语音 来 控制 机 带 人 ， 此 时 机 融 人 会 根据 Kinect 获 
取 的 声音 来 判断 用 户 的 位 置 ， 然 后 进行 自转 ， 使 自己 始终 面向 用 户 。 

尽管 Kinect SDK 包 含 了 丰富 的 声音 处 理 示 例 , 但 在 1.0 版 本 中 , 基于 C++ 语言 的 示例 并 不 支持 
语音 识别 功能 。 本 项 目 中 的 声音 定位 程序 参考 了 Kinect SDK 提 供 的 MicArrayEchoCancellation 示 例 
的 部 分 代码 ， 通 过 声音 获取 选择 角度 ， 从 而 实现 定位 功能 。 

理论 上 ，Kinect 的 麦克 风 阵 列 以 线 阵 方式 排列 ， 探 测 范 围 能 够 达到 180° ( -90° ~ 90° )， 但 在 
实际 测试 中 ,只 有 在 -40° ~ 40? 的 角度 范围 内 ， 声 音效 采 才 比 较 明 显 。 考 虑 到 Kinect 麦 克 风 阵列 的 
这 一 特点 ， 为 了 应 对 复杂 的 应 用 场景 ， 我 们 采取 了 如 下 控制 策略 。 

(1) 由 于 Kinect 麦 元 风 阵 列 测试 具备 上 述 特点 ,因此 机 妖 人 视野 内 是 否 存在 骨 染 就 成 为 了 判 
汤 首 源 位 置 (来 日 机 各 人 前 方 或 后 方 ) 的 依据 。 这 里 假设 Kinect 提 取 骨 架 的 视野 角度 泡 围 是 
—30° ~ 30°。 

(2) 受 环境 影响 ， 机 大 人 可 能 无 法 一 次 目 传 到 位 ， 因 此 需要 用 户 不 断 地 通过 声音 来 修正 其 
位 置 。 

(3) 如 有 果 机 带 人 视野 内 没有 骨架 ， 就 表示 接收 到 的 声音 来 自 后 方 ， 但 要 排除 骨 织 处 于 其 视野 
盲区 的 可 能 性 ( 即 角度 a 的 绝对 值 大 于 30°? )。 此 时 ， 机 硕 人 的 自转 角度 为 (180-o)"， 方 向 由 角度 正 
人 负 决 定 ( 正 角 度 表示 机 各 人 前 进 方 回 的 左 侧 )。 其 他 情况 下 ， 机 带 人 只 上 月 转 90?。 

(4) 如 采 机 天 人 视野 内 有 骨架 ， 则 可 以 直接 根据 角度 目 转 。 
其 中 采集 声 源 方 回 的 代码 与 SDK 示 例 一 致 ， 这 里 不 再 歼 述 ， 仅 列 出 声控 的 逻辑 代码 以 供 


if ( human command.human Volce ) 


1 
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EnterCriticalSection(&com write criticalsect).; 
COMM [1] = COMM[2] = 0x00; 
COMM [3] = COMM[4] = 0x00; 


/ /如 果 角 度 为 正 ， 说 明 用 户 在 左 侧 ， 此 时 判断 有 无 骨架 
if ( human command.voice angle > 0.0 ) 
{ 
// 如 果 没 有 骨架 ,说 明 用 户 在 后 方 ， 需 要 自转 180°， 假设 骨架 视角 只 有 30? 
if ( ihuman command.human skeleton ) 
( 
// 若 角度 小 于 30 度 ， 用 户 肯 定 在 机 器 人 后 方 
if ( ore ge Se <= 30.0 ) 
{ 
/* 向 机 器 人 发 送 指 令 ， 自 转 180°， 代 码 略 */ 
} 
/YY 诺 六 村 才 09， 只 有 我 908 
else if(human command.voice angle >= 40.0 ) 
{ 
/* 向 机 器 人 发 送 指令 ， 自 转 90°， 代 码 略 */ 
} 
else // 否 则 人 在 前 面 ， 只 是 看 不 到 而 已 ， 即 300<angle<405 
{ 
/* 向 机 器 人 发 送 指令 ， 转 至 voice_angle 角 度 ， 代 码 略 */ 
} 
} 
/ /有明 架 ， 直 接 根据 角度 自转 
else 
{ 
/* 向 机 器 人 发 送 指 令 ， 转 至 voice angle 角 度 ， 代 码 略 */ 


} 


/ /此 时 声音 在 右 人 出， 需要 通过 骨架 判断 是 前 方 还 是 后 方 


if ( human command.voice angle < 0.0 ) 
{ 
/* 同 左 侧 ， 代 码 略 */ 


if ( human command.voice angle == 0.0 ) 
/* 向 机 器 人 发 送 指 令 ， 保持 静止 ， 代 码 略 */ 


. 


LeaveCriticalSection(&com write criticalsect).; 


这 些 末 上 略 仪 仪 是 折 中 的 方案 ， 因 为 实际 操作 者 和 Kinect 提 取 的 用 户 骨 架 可 能 个 是 同一 个 人 。 
不 难看 出 , 声音 定位 极 易 受 到 外 界 环境 的 影响 ， 误 判 率 较 高 ， 因 此 需要 通过 语音 识别 功能 辅助 判 
渐 ， 这 也 Pt 图 12-12 为 初始 状态 ， 图 12-13 中 用 户 向 右 
移动 并 发 出 声音 ， 机 需 人 定位 后 自转 面 回 用户。 
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图 12-12 ”初始 状态 


图 12-13” 声 源 跟 踪 结 


12.7 完 秋 人 机 交互 演示 系统 


设计 出 一 套 适 合 该 应 用 的 统一 目 然 交互 系统 , 可 以 极 大 地 提高 机 需 人 的 可 操作 性 。 想 要 让 机 
顺 人 走 进 家 庭 ， 就 需要 让 它 更 多 地 和 人 进行 交流 ， 而 如 果 采 用 传统 的 外 设 来 控制 ,用 户 体验 性 和 
适用 性 就 会 大 打折 扣 。 机 需 人 如 果 能 够 读 屋 人 的 胶体 语言 ， 用 户 就 能 非常 方便 地 对 其 进行 控制 ， 
并 减少 操作 的 麻烦 。 竺 运 的 是 ， 利 用 Kinect 完 全 可 以 实现 此 功能 。 

总 体 来 讲 ， 机 需 人 具有 人 体 跟 踪 、 行 走 避 障 以 及 声音 定位 三 个 功能 , 可 以 通过 一 整套 动作 来 
实现 不 同 功能 之 间 的 切换 。 经 过 大 量 实验 , 该 项 目 采 用 以 下 姿态 来 完成 整个 演示 系统 ,如 图 12-14 
和 图 12-15 所 示 。 


12.7 完善 人 机 交互 演示 系统 E37 


伸 直 左 辟 :机 器 人 进入 声音 定位 模式 
图 12-14 机 需 人 各 个 模式 之 间 的 切换 


左手 癌 前 : 停车 指令 ， 机 器 人 停止 运动 右手 癌 前 : 启动 指令 ， 机 器 号 人 开始 运动 
图 12-1$ ”控制 机 大 人 运动 的 命令 


158 第 12 章 基于 Kinect 的 自主 移动 机 器 人 的 设计 与 实现 


由 于 采用 姿态 控制 状态 切换 ， 因 此 设计 时 要 考虑 到 以 下 两 点 。 

(1) 申 于 机 带 人 和 用 户 可 能 会 同时 处 于 运动 状态 ， 而 人 在 走动 时 动作 是 最 放松 的 ， 因 此 控制 
切换 的 姿态 必须 非常 特殊 。 另 外， 还 需要 添加 延 时 功能 ， 即 当 机 釉 人 采集 到 用 户 的 控制 姿态 后 ， 
不 会 马上 啊 应 ,而 是 统计 一 定时 间 内 该 姿态 是 否 持 续 出 现 , 这 样 可 以 防止 用 户 的 误 操 作 。 考 虑 到 
安全 因素 ， 这 里 并 没有 对 停车 指令 进行 延 时 判断 ， 以 确保 该 动作 能 够 立即 得 到 啊 应 。 

(2) 利用 SDK 提 供 的 骨 染 跟 踩 机制 可 以 较 好 地 解决 多 用 户 操 作 问 题 。 由 于 骨 淋 上 共有 唯一 的 ID， 
此 当 某 个 用 户 利用 姿态 向 机 带 人 发 出 命令 后 , 机 各 人 将 只 接受 该 骨架 ID 的 姿态 命令 , 不 会 受到 
其 他 用 户 的 干扰 ,除非 该 用 户 离开 机 各 人 的 视野 。 这 是 因为 目前 的 SDK 骨 架 仍 躁 机 制 只 在 骨架 可 
见 的 情况 下 生效 ， 暂 不 支持 骨 淋 记忆 识别 。 在 调试 中 ,机 和 奋 人 视野 内 有 两 名 用 户 ， 当 一 个 用 户 完 
成 了 定义 的 操作 ( 伸 开 双 臂 ) 后 , 即 可 获得 机 希 人 的 控制 权 , 机 融 人 将 不 再 啊 应 其 他 用 户 的 命令 ， 
这 样 就 实现 了 机 各 人 对 骨 染 的 跟 踊 功 能 。 当 然 ， 如 果 其 他 用 户 距离 机 各 人 过 近 , 会 影响 控制 用 户 
的 骨 染 ， 这 种 状况 下 可 能 会 出 现 误 操作 。 


12.8 小结 


至 此 ， 关 于 KRobot 项 目的 各 部 分 技术 实现 就 介绍 完了 。 在 这 一 章 中 ,我们 了 解 了 Kinect 的 创 
新 用 法 ， 即 将 其 作为 机 如 人 的 “眼睛 ”和 “和 耳 东 ”， 使 机 融 人 能 够 观察 并 识别 外 界 环境 。 与 前 面 
提 到 的 几 种 应 用 不 同 ， 本 项 目 不 仅 要 啊 应 视觉 主体 (用户 )， 还 需要 分 析 其 他 物体 ， 这 本 里 就 是 
相当 复杂 的 工作 。 不 仅 如 此 ，KRobot 还 很 好 地 将 Kinect 的 特性 融和 人 了 机 禹 人 的 操作 : 利用 骨骼 追 
踪 功 能 控制 机 天 人 追踪 人 体 ; 利用 声音 识别 功能 完成 声 源 追 踪 ; 利用 目 然 交 互 功能 完成 对 机 入 人 
的 便捷 操控 。 这 些 都 是 值得 读者 学 习 和 借鉴 的 。 相 信和 在 不 久 的 将 来 , 会 有 越 来 越 多 的 机 大 人 项 目 
以 Kinect 作 为 传 感 项 。 这 将 使 机 机 人 的 识别 能 力 和 交互 能 力 得 到 极 大 的 提高 ， 让 它 更 像 真 正 的 
We 


Kinect for Windows SDK 类 、 
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表 A-1 将 列 出 Kinect for Windows SDK 中 使 用 到 的 所 有 类 ， 并 对 它们 做 了 人 简单 的 功能 描述 。 


表 A-1 Kinect for Windows SDK 类 


名 称 描 述 
AllFramesReadyEventArgs 全 数据 流 回调 事件 
BeamAngleChangedEventArgs 俯仰 角 更 改 事件 
BoneOrientation 骨骼 点 旋转 信息 
BoneOrientationCollection 骨骼 点 旋转 信息 列表 
BoneRotation 旋转 参数 
ColorIimageFframe 彩色 数据 帧 
ColorIimageFrameReadyEventArgs 彩色 数据 流 回调 事件 
ColorIimageStream 彩色 数据 流 
DepthImageFrame 深度 数据 帧 
DepthImageFrameReadyEventArgs 深度 数据 流 回调 事件 
DepthImageStream 深度 数据 流 
lmaget rame 图 像 数 据 帧 
ImageStream 图 像 数 据 流 
JOointCollection 骨骼 点 数据 列表 
Finect AudioSource Kinect 声 音 数据 流 
KinectSensor Kinect 运 行 时 
KinectSensorCollection Kinect 运 行 时 列表 
Skeleton 单一 骨骼 数据 
SkeletonFrame 骨骼 数据 帧 
SkeletonrFrameReadyEventArgs 骨骼 跟踪 数据 流 回 调 事 件 
SkeletonStream 骨 铝 数据 流 
SoundSourceAngleChangedEventArgs 声 源 角度 改变 回调 事件 


StatusChangedEventArgs 


Kinect 传 感 硕 连接 状态 改变 回调 事件 
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表 A-2 将 列 出 Kinect for Windows SDK 中 使 用 到 的 所 有 结构 类 型 ， 并 对 它们 做 了 简单 的 功能 
描述 。 


表 A-2 ”Kinect for Windows SDK 结 构 类 型 


名 称 功能 描述 
ColorImagePoint 彩色 图 的 单一 像素 
DepthIimagePoint 深度 图 的 单一 像素 
Joint 骨骼 数据 中 单一 骨骼 点 
Matrix4 4x4 和 矩阵 
SkeletonpPoint Kinect 空 间 下 的 一 个 骨骼 点 位 置 
Trarnstformomoothparameters 骨骼 点 光滑 处 理 参数 
Vector4 四 维 回 量 


表 A-3 将 列 出 Kinect for Windows SDK 中 使 用 到 的 所 有 枚 举 类 型 ， 并 对 它们 做 了 简单 的 功能 
描述 O 


表 A-3 Kinect for Windows SDK 枚 举 类 型 


名 称 功能 摘 述 
BeamAngleMode 信 、 仰 角 设 置 方式 
ColorIimageFormat 彩色 图 片 格式 
DepthIimageFormat 深度 图 片 格式 
DepthRange 深度 数据 取景 模式 
EchoCancellationMode 回声 消除 选项 
FrameEdges 骨骼 数据 相对 深度 图 边界 状态 
JOINtTEaoRkingState 骨骼 点 跟踪 状态 
JointType 上 骨骼 点 类 型 
KinectStatus Kinect 传 感 需 状态 
SokeletonTraekingMode 骨骼 跟踪 模式 


skeletonTrackingstate 上 骨 散 跟踪 状态 


图 灵 原 创 


Kinect 人 机 交互 开发 实践 


| | N E 人 齐 发 世上 
[| 
开 妈 实践 
除了 为 读者 介绍 Kinect 开 发 的 相关 知识 外 ， 书 中 通过 大 量 篇 幅 分 析 了 一 些 精 挑 细 选 的 实际 项 目 ， 这 些 项 目 
给 开发 者 提供 了 很 好 的 开发 方向 和 设计 思路 。 从 应 用 的 整体 设计 思路 到 具体 的 算法 实现 ， 每 个 项 目 都 给 出 了 实 


际 开发 中 需要 注意 的 地 方 ， 这 值得 开发 者 花 精 力 去 了 解 。 


可 以 说 ，Kkinect 的 诞生 预示 着 一 个 全 新 的 计算 机 应 用 领域 的 开拓 。 本 书 将 读者 群 定位 在 具有 极 大 创造 力 和 
实现 能 力 的 个 人 和 企业 开发 者 身上 ， 详 细 介 绍 了 Kinect for Windows 开 发 的 方方面面 ， 是 有 志 投 身 该 领域 的 开 
发 兰 不 可 箱 夫 的 一 杰 书 6 

一 一 马 宁 ，MVP，OpenXLive CTO 


前 些 日 子 刚 刚 看 到 国内 能 够 买 到 Kinect for Windows， 感觉 通过 Kinect 来 控制 电脑 的 革命 性 人 机 交互 方式 
离 我 们 的 实际 生活 更 近 了 。 遍 寻 各 大 网 上 书店 ， 没 有 相关 的 中 文 开 发 资料 ， 深 感 遗 憾 。 本 书 的 推出 填补 了 国内 
Kinect for Windows 开 发 领域 的 空白 。 和 幸运 的 是 ， 我 成 为 了 本 书 的 第 一 批 读 者 ， 原 以 为 它 可 能 就 是 官方 SDK 文 
档 的 梳理 ,但 随 着 阅读 的 深入 ， 本 书 带 给 了 我 极 大 的 惊喜 。 它 不 仅仅 停留 在 概念 的 阐述 、 基 本 功能 的 实现 ， 更 
有 吸引 力 的 是 它 讲述 了 从 构思 、 设 计 到 实现 一 个 Kinect 交 互 应 用 的 完整 过 程 ， 同 时 又 对 Kinect 应 用 的 用 户 友好 
性 提出 了 真知 灼 见 ， 极 具 参 考 价值 。 
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这 是 一 本 很 适合 体感 开发 初学 者 阅读 的 书 。 从 Kinect for Windows 开 发 环境 的 搭建 ， 再 到 Kinect 彩 色 图 像 数 

据 、 深 度 图 像 数据 、 骨 骼 退 踪 数据 、 音 频数 据 的 获取 与 使 用 ,以 及 人 脸 识 别 等 ,讲解 非 常 细致 ， 知 识 体系 非常 完 
整 。 这 本 书 是 作者 大 量 实践 经 验 的 结晶 ， 相 信 对 Kinect for Windows 体 感 开发 者 会 有 很 大 的 帮助 ， 强 烈 推 荐 | 
一 一 干 峰 ，cnKinect.com 创 始 人 
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